Como Testar Hiperpersonalização: Experimentação e A/B Testing em CX

O slide mostra uma seta verde: “a conversão subiu desde que lançamos a jornada personalizada”. É uma cena comum em comitês de experiência e marketing. A plataforma nova entrou no ar, as ofertas passaram a usar o histórico do cliente, o app ganhou recomendações “feitas para você”, e o número subiu. Todo mundo comemora. Ninguém pergunta o que teria acontecido se nada tivesse mudado. Ninguém lembra que o lançamento coincidiu com o pagamento do 13º, com uma campanha de mídia e com a troca da régua de cobrança.

Sem grupo de controle, aquela seta verde não é resultado. É coincidência com boa apresentação. E quando o tema é hiperpersonalização, a coincidência custa caro: você passa a investir mais em algo que talvez não funcione, ou que funcione para uns e piore a experiência de outros. Neste artigo, mostro como testar personalização com rigor, usando um protocolo em cinco etapas que chamo de Protocolo PROVA, um modelo de plano de teste preenchido e os erros que mais vejo nas operações.

Por que “vamos personalizar mais” não é uma estratégia

Com IA generativa, dá para mudar o texto, a oferta, o canal, o horário e até o tom da conversa para cada cliente. Mas facilidade de executar não é prova de valor. Quanto mais variáveis uma empresa consegue mexer, maior a chance de mexer em todas ao mesmo tempo e não saber o que gerou o efeito, se é que houve efeito.

“Vamos personalizar mais” é uma intenção. Não diz o que vai mudar, para quem, em qual indicador, em quanto e em quanto tempo. Uma intenção não pode ser reprovada, e por isso nunca ensina nada. Minha recomendação é tratar cada iniciativa de personalização como uma hipótese que pode dar errado, e descobrir isso num teste com parte da base, não depois de virar padrão para todos.

O que os dados mostram sobre personalização que dá errado

A primeira evidência vem de quem testa em escala há muito tempo. Num artigo público de 2009 sobre a plataforma de experimentação da Microsoft, Ronny Kohavi e colegas relataram que, entre experimentos bem desenhados e bem executados para melhorar uma métrica-chave, apenas cerca de um terço conseguiu de fato melhorar essa métrica. Se dois terços das ideias falharam lá, não há motivo para supor que a sua personalização acerte mais.

O mesmo artigo traz um exemplo que deveria estar pendurado na parede de todo time de CX. Num experimento de duas semanas no MSN Real Estate, a versão nova teve taxa de cliques 2,06% melhor que a versão de controle no período todo, comparando as duas na mesma semana. Quando os pesquisadores fizeram a conta do jeito “antes e depois”, comparando a versão nova na segunda semana com a antiga na primeira, a vantagem aparente subia para 11,38%. A diferença vinha de fatores externos entre uma semana e outra, e não da mudança. É exatamente o erro da seta verde.

A segunda evidência é sobre o risco para o cliente. Em pesquisa divulgada em junho de 2025, com 1.464 compradores B2B e consumidores da América do Norte, Reino Unido, Austrália e Nova Zelândia, a Gartner constatou que o marketing personalizado gera experiências negativas para 53% dos clientes. Quem viveu personalização numa jornada de compra recente teve 3,2 vezes mais chance de se arrepender da compra e 44% menos chance de comprar de novo. Também teve 1,8 vez mais chance de pagar mais caro, o que explica por que a média de receita pode parecer ótima enquanto a relação se deteriora. Na mesma pesquisa, os clientes personalizados tinham 2 vezes mais chance de se sentir sobrecarregados com informação e 2,8 vezes mais chance de se sentir pressionados pelo tempo. Audrey Brosnan, diretora sênior de pesquisa da Gartner, resumiu que a personalização, apesar de valiosa para alguns, “não ressoa com a maioria”.

A terceira é brasileira e ajuda a entender a fadiga. No Painel TIC 2021 sobre privacidade e proteção de dados pessoais, do Cetic.br, 46% dos usuários de internet que já tinham ouvido falar de perfilamento e publicidade direcionada disseram ver publicidade personalizada “muitas vezes”, e outros 21% “algumas vezes”. Quando a personalização já é ruído de fundo para metade das pessoas, mais uma mensagem “feita para você” não é diferencial.

O Protocolo PROVA: cinco etapas para testar hiperpersonalização

Para organizar os testes de personalização em CX, proponho um protocolo com cinco etapas. Chamo de Protocolo PROVA porque cada letra é uma etapa e porque o objetivo é exatamente esse: produzir prova, e não convicção. Se uma das etapas fica em branco, o teste não deveria começar.

P de Pergunta testável: a hipótese mensurável

Toda iniciativa começa escrita numa frase completa, que eu chamo de teste da frase inteira: “Se fizermos [mudança específica] para [segmento definido], então [métrica primária] vai [direção e tamanho esperado], porque [mecanismo], em até [prazo]”.

• Fraca: “Vamos personalizar o atendimento no app.”
• Testável: “Se a tela de ajuda do app mostrar primeiro o motivo de contato mais provável com base no último pedido do cliente, para clientes com pedido nos últimos 30 dias, então a taxa de contato no chat por mil sessões vai cair pelo menos 10%, porque o cliente encontra a resposta sem digitar, em até quatro semanas.”

A hipótese testável tem uma mudança só, um público, um número e um porquê. O porquê importa: se o resultado vier, você sabe o que aprendeu; se não vier, sabe qual premissa caiu.

R de Randomização: controle e teste aleatórios

O grupo que recebe a personalização e o grupo que não recebe precisam ser sorteados, ao mesmo tempo, a partir do mesmo público. Não vale comparar com o mês anterior, com outra região, nem com “os clientes que não abriram o app”. Esses grupos são diferentes por natureza, e qualquer diferença no resultado pode vir daí.

Três cuidados práticos. Primeiro, sorteie o cliente, e não a sessão ou o contato: se a mesma pessoa vê a versão personalizada num dia e a padrão no outro, os grupos se contaminam. Segundo, confira se os grupos ficaram parecidos antes de começar, comparando perfil, ticket e taxa de contato histórica. Terceiro, guarde um grupo de controle permanente, pequeno, que não recebe nenhuma personalização por alguns meses. É ele que vai mostrar o efeito acumulado de tudo o que você ligou.

O de Objetivo único: a métrica primária definida antes

Antes de ligar o teste, registre por escrito qual é a métrica primária, aquela que decide se a personalização fica ou sai. Uma só. Junto com ela, defina de duas a quatro métricas de proteção, que não podem piorar: taxa de descadastro ou de desativação de notificações, recontato em sete dias, reclamação formal, esforço do cliente (CES). Já escrevi sobre quando usar NPS, CSAT ou CES; num teste, o critério é escolher o indicador que reage no prazo do experimento e que tem relação direta com o mecanismo da hipótese.

Definir antes é a principal defesa contra o viés de confirmação. Se a métrica é escolhida depois de ver os dados, sempre aparece alguma que subiu, e o time sai convencido de que acertou.

V de Validade no tempo: amostra, significância e efeito de novidade

O teste precisa rodar tempo suficiente para atingir o tamanho de amostra calculado antes e para cobrir pelo menos um ciclo completo do negócio, normalmente semanas inteiras, porque segunda-feira e sábado têm clientes diferentes. Encerrar o teste no primeiro dia em que o resultado ficou “significativo” é um dos atalhos mais perigosos: olhando o painel todo dia, em algum momento a diferença vai parecer real por acaso.

Tempo também protege contra o efeito de novidade. Pesquisadores da Microsoft descreveram, num estudo de 2021, como o efeito de uma mudança pode variar ao longo do tempo porque o usuário aprende: há o efeito de novidade, em que a curiosidade pelo novo infla o resultado no início e depois se dissipa, e o efeito de primazia, em que a reação inicial é pior e melhora conforme o cliente se acostuma. Em personalização, a novidade é quase garantida: a primeira recomendação “para você” chama atenção; a décima, nem tanto. Minha recomendação é olhar o resultado separado por semana e desconfiar de qualquer efeito que só existe nos primeiros dias.

A de Abertura por segmento e fadiga: o que a média esconde

Num exemplo ilustrativo, uma melhora de 3% na média pode ser a soma de 12% de melhora num segmento grande e de uma piora séria num segmento menor, como clientes mais antigos, clientes em atraso ou quem tem uma reclamação aberta. Para a empresa, a média passa. Para o cliente que piorou, a experiência ficou pior, e é ele quem vai reclamar. Os dados da Gartner sobre arrependimento mostram como esse efeito pode ficar escondido atrás de um número bonito.

Por isso, defina antes de 3 a 5 segmentos que você vai abrir obrigatoriamente, e leia cada um. Na mesma etapa, olhe a fadiga: frequência de mensagens personalizadas por cliente, queda de engajamento ao longo das semanas, descadastros. Personalização que funciona na primeira exposição e cansa na quinta precisa de limite de frequência, não de mais volume.

Exemplo de plano de teste preenchido

A tabela abaixo é um exemplo ilustrativo, com números hipotéticos, para mostrar como o Protocolo PROVA fica no papel. Recomendo que nenhum teste de personalização seja aprovado sem uma ficha assim.

A última linha é a que mais falta. Escrever a decisão antes de ver o resultado tira o teste do campo da opinião.

Quanto tempo o teste precisa rodar

Não existe prazo padrão. O que define a duração é o tamanho de amostra necessário para enxergar o efeito que você quer detectar. Uma regra prática bastante usada em estatística, para 95% de confiança e 80% de poder, é: clientes por grupo ≈ 16 × p × (1 − p) ÷ d², em que p é a taxa atual da métrica e d é a diferença mínima que vale a pena detectar.

Num exemplo ilustrativo: se hoje 10% dos clientes que entram na ajuda abrem o chat e você quer detectar uma queda de 1 ponto percentual, a conta é 16 × 0,10 × 0,90 ÷ 0,0001, ou cerca de 14.400 clientes por grupo. Se a sua operação recebe 2 mil desses clientes por semana, divididos em dois grupos, o teste leva umas 14 semanas. Se você aceitar detectar só uma queda de 2 pontos, a amostra cai para cerca de 3.600 por grupo. Essa conta, feita antes, evita dois desperdícios: rodar um teste que nunca teria amostra suficiente e encerrar cedo um teste que ainda não disse nada.

Se a amostra necessária for maior do que a sua base permite, teste uma mudança maior ou escolha uma métrica mais frequente.

Os erros mais comuns que vejo em testes de personalização

• Testar várias variáveis ao mesmo tempo. Texto, oferta, canal e horário mudam numa única versão. Se melhora, ninguém sabe o que funcionou; se piora, ninguém sabe o que corrigir.
• Olhar só a média. A média esconde os segmentos onde a personalização piora a experiência.
• Ignorar a fadiga de personalização. O efeito da primeira semana raramente é o do sexto mês. Sem leitura semanal e limite de frequência, você escala algo que vai cansar o cliente.
• Comparar antes e depois. Como mostra o exemplo da Microsoft, a variação entre períodos pode ser muito maior do que o efeito que você quer medir.
• Trocar a métrica depois do resultado. Se a primária não mexeu e alguém sugere olhar outra que subiu, o teste virou confirmação do que já se queria acreditar.
• Parar quando o painel fica verde. Encerrar no primeiro sinal positivo aumenta muito a chance de um falso positivo.
• Medir só conversão. Personalização que vende mais e gera mais contato no atendimento, mais arrependimento e mais cancelamento não é ganho. É custo adiado.

Como medir e reportar o resultado

O relatório de um teste deveria caber numa página e responder a cinco perguntas: qual era a hipótese; qual foi o efeito na métrica primária, com intervalo de confiança; o que aconteceu com as métricas de proteção; como cada segmento reagiu; e qual a decisão tomada. Efeito nulo também é resultado: evita que a mesma ideia volte daqui a seis meses com outro nome.

Para chegar ao financeiro, traduza o efeito em dinheiro com a lógica que uso para transformar indicadores de experiência em número que o CFO respeita: contatos evitados vezes custo do contato, receita incremental contra o controle e churn evitado. O grupo de controle permanente é a única forma honesta de dizer quanto o programa inteiro vale. É o princípio de usar dados para reduzir o esforço do cliente e aumentar margens: o dado vale quando muda uma decisão.

O que fazer a partir de amanhã

1. Liste as iniciativas de personalização que estão no ar e marque quais têm grupo de controle. Para as que não têm, o resultado atual é desconhecido.
2. Reescreva cada iniciativa nova no teste da frase inteira: mudança, segmento, métrica, tamanho, mecanismo e prazo.
3. Escolha uma métrica primária e até quatro de proteção antes de ligar qualquer teste, e registre por escrito.
4. Calcule a amostra e a duração antes de começar e combine com o time que ninguém encerra o teste antes disso.
5. Defina os segmentos que serão abertos e inclua pelo menos um segmento sensível, como clientes com reclamação aberta.
6. Crie um grupo de controle permanente sem personalização, com pequena parcela da base.
7. Leve a ficha do Protocolo PROVA ao comitê como condição para aprovar qualquer personalização nova.

Hiperpersonalização pode, sim, reduzir esforço e aumentar valor. Mas só a experimentação bem feita mostra para quem, em que momento e até que ponto. O resto é seta verde em slide.

Referências

Gartner. Gartner Survey Reveals Personalization Can Triple the Likelihood of Customer Regret at Key Journey Points. Gartner Newsroom, 3 jun. 2025. Disponível em: gartner.com.

Kohavi, Ronny; Crook, Thomas; Longbotham, Roger; Frasca, Brian; Henne, Randy; Lavista Ferres, Juan; Melamed, Tamir. Online Experimentation at Microsoft. Microsoft ThinkWeek (versão pública), 2009. Disponível em: ai.stanford.edu.

Sadeghi, Soheil; Gupta, Somit; Gramatovici, Stefan; Lu, Jiannan; Ai, Hao; Zhang, Ruhan. Novelty and Primacy: A Long-Term Estimator for Online Experiments. arXiv, 18 fev. 2021. Disponível em: arxiv.org.

Cetic.br / NIC.br / CGI.br. Painel TIC 2021: Privacidade e proteção de dados pessoais. Tabela PR12B: usuários de Internet que já ouviram falar sobre perfilamento e publicidade direcionada, por frequência com que veem publicidade personalizada. Cetic.br, 2021. Disponível em: cetic.br.

Sobre a autora

Sou Euriale Voidela. Iniciei minha carreira em 1998 como operadora de atendimento e, desde então, construí uma trajetória de mais de 25 anos dedicada à evolução do relacionamento com clientes. Sou especialista em Customer Experience, Customer Success e Customer Centricity, fundadora e CEO da Customer Centric Consulting, editora-chefe do Portal Customer, presidente da AIESC, autora de 5 livros sobre CX e CS e conselheira de empresas.

Já apoiei mais de 100 projetos e operações de atendimento em empresas de diferentes segmentos, atuando na implantação de programas de experiência do cliente, governança, inteligência de dados e transformação organizacional. Uma das minhas principais bandeiras é a valorização dos profissionais que representam as marcas todos os dias na linha de frente do atendimento.

Sobre a Customer Centric Consulting

A Customer Centric Consulting é a consultoria que fundei para ajudar empresas a transformar experiência do cliente em resultado de negócio, da estratégia à execução. Atuamos em diagnóstico de maturidade em CX e CS, redesenho de jornadas e processos, governança e indicadores, tecnologia e Inteligência Artificial aplicada ao atendimento, cultura centrada no cliente e estruturação de operações de contact center.

Nosso principal diferencial é o método CX Maturity Intelligence, um diagnóstico estruturado que combina análise qualitativa (pilares, critérios e regras que evitam avaliações infladas) com análise quantitativa de dados operacionais reais, como taxa de contato, comportamento do cliente único, speech analytics e correlações regulatórias. É esse cruzamento entre percepção e dado que torna possível saber, com precisão, em que estágio de maturidade uma empresa realmente está, e não em qual estágio ela acredita estar.

Saiba mais em customercentric.com.br ou conheça também o Portal Customer, mídia especializada em CX e CS.

Se você quer saber quais das suas iniciativas de personalização realmente melhoram a experiência e quais só parecem funcionar no slide, o primeiro passo é olhar os dados da sua operação com método. A Customer Centric Consulting aplica o diagnóstico CX Maturity Intelligence para mostrar, com dados reais, onde estão os gaps. Fale com a nossa equipe.