Monitoria de qualidade por IA: como avaliar 100% do atendimento sem virar punição

Uma cena que se repete em muitas operações de atendimento: na mesma reunião, a supervisão mostra uma nota de qualidade acima de 90, enquanto a área de relacionamento mostra que as reclamações na ouvidoria subiram pelo terceiro mês seguido. Os dois números podem ser verdadeiros ao mesmo tempo, e é exatamente aí que mora o problema. A nota alta costuma vir de um punhado de ligações escolhidas por sorteio. As reclamações vêm de todas as outras.

Já estive dos dois lados dessa mesa. Comecei como operadora de atendimento em 1998 e lembro bem da sensação de ser avaliada por três ou quatro ligações no mês, ouvidas por alguém que não estava lá quando o sistema caiu ou quando o cliente chegou já gritando. Anos depois, estruturei áreas de qualidade e passei a ser a pessoa que montava o formulário, sorteava as chamadas e devolvia a nota. Conheço os limites desse modelo por dentro.

A monitoria de qualidade por IA promete resolver isso avaliando 100% das interações. Ela resolve uma parte, cria problemas novos e, mal implantada, transforma uma ferramenta de desenvolvimento em câmera de vigilância. A seguir: por que a amostragem falha, o que a IA avalia bem e mal, um framework para decidir o que entregar à máquina e um passo a passo de implantação.

Como a monitoria tradicional funciona e por que a amostragem falha

O modelo clássico tem quatro peças: um formulário com critérios (saudação, identificação, sondagem, solução, encerramento, postura), um analista de qualidade que ouve ou lê interações sorteadas, uma nota por atendimento e uma devolutiva ao operador. Em operações bem organizadas, existe ainda uma calibração periódica, em que analistas e supervisores avaliam a mesma interação para alinhar critério.

O problema começa na quantidade. Uma enquete da Call Centre Helper feita em 2016 com 113 profissionais de contact center mostrou que 35% avaliavam 1% ou menos das interações e outros 33% avaliavam entre 1% e 2%. Ou seja, dois terços das operações olhavam para no máximo 2% do que acontecia. A ISG Research (antiga Ventana Research) escreveu em 2022 que a parcela de interações tipicamente avaliada continuava muito baixa, “de apenas 1% a 3% do total”, mesmo em operações que gravavam todas as chamadas.

Essa pequena amostra gera três distorções que vi se repetirem em quase todas as operações em que entrei:

• Ela não enxerga o raro e grave. O atendimento que gera uma reclamação formal ou um cancelamento costuma ser exceção estatística. Com 2% de amostra, a chance de ele cair no sorteio é pequena.
• Ela é injusta com o operador. Três ligações ruins num mês difícil viram “o mês do operador”. Três ligações fáceis escondem quem precisa de ajuda.
• Ela mede o formulário, não o cliente. Quando o formulário premia o roteiro, o time aprende a cumprir o roteiro. A nota sobe, e a experiência não muda. Já escrevi sobre isso em o fim do checklist e por que qualidade é a alma do CX.

Há ainda o custo: ouvir, preencher o formulário e registrar a devolutiva leva mais tempo do que a própria ligação. Escalar a amostragem manual exigiria um time de qualidade do tamanho do time de atendimento.

O que a IA avalia bem e o que avalia mal

A monitoria por IA combina transcrição de voz (ou leitura direta de chats e e-mails) com modelos que classificam cada interação de acordo com critérios definidos. É uma evolução do speech analytics, que já usamos há anos para encontrar temas, palavras e padrões em grandes volumes de conversa. Expliquei a base dessa tecnologia em speech analytics e como ele pode auxiliar na análise da experiência do cliente.

A Forrester, no panorama de soluções de conversation intelligence para contact centers de janeiro de 2025, mapeou 23 fornecedores capazes de revisar conversas, avaliar automaticamente a qualidade e apoiar o colaborador com IA. Com tantas opções, o desenho do seu processo pesa mais do que a escolha do software.

Pela minha experiência em projetos, a IA vai bem em:

• Itens de presença e conformidade: o operador confirmou os dados? Informou o protocolo? Leu o texto obrigatório de contratação?
• Padrões de volume: quais motivos de contato cresceram, onde há rechamada, quais produtos concentram reclamação.
• Sinais de risco: menção a órgão de defesa do consumidor, ameaça de cancelamento, palavras de forte insatisfação.
• Comportamentos mensuráveis: tempo de silêncio, interrupções, transferências, tempo até a primeira resposta em canais escritos.

E vai mal, ou exige supervisão humana, em:

• Julgamento de contexto: negar uma exceção foi correto ou foi rigidez? Depende da política, do histórico do cliente e do momento.
• Empatia real versus empatia de roteiro: a IA reconhece a frase “sinto muito pelo transtorno”, mas tem mais dificuldade em perceber se ela soou burocrática.
• Correção técnica da solução: se o operador deu uma orientação errada sobre o produto, a IA só percebe se tiver acesso à base de conhecimento e regras claras.
• Transcrição ruim: sotaques, ruído, termos técnicos e nomes de produto mal transcritos contaminam a avaliação inteira.

Existem estudos de fornecedores que mostram alta aderência entre a avaliação automática e a percepção do cliente. A SQM Group, empresa que vende solução de qualidade automatizada, publicou um estudo com 20 operações norte-americanas e cerca de 8 mil pares de gravação e pesquisa pós-atendimento, relatando até 96% de alinhamento entre a distribuição de satisfação prevista pela ferramenta e a declarada pelo cliente. É dado de fornecedor, com metodologia publicada: vale como indicativo, não como garantia. O seu resultado depende do seu formulário, da sua transcrição e da sua calibração.

O framework: Matriz Evidência × Julgamento

O erro mais comum que vejo é pegar o formulário de qualidade que já existe e entregá-lo inteiro para a IA. Ele foi desenhado para um ser humano que ouve três ligações, e não para uma máquina que lê três mil. Para resolver isso, uso com clientes o que chamo de Matriz Evidência × Julgamento. Ela classifica cada critério do formulário em dois eixos:

• Evidência: o critério pode ser comprovado por um trecho da conversa? Se eu pedir “mostre onde isso aconteceu”, existe uma frase, um silêncio ou uma ação registrada que responde?
• Julgamento: avaliar o critério exige conhecer contexto que não está na conversa (política, histórico do cliente, situação do sistema, exceções)?

O cruzamento gera quatro quadrantes, e cada um tem um dono diferente:

Quadrante	Característica	Exemplos	Quem avalia
1. IA decide	Evidência alta, julgamento baixo	Confirmação de dados, informe de protocolo, leitura de texto obrigatório, oferta de canal digital	IA em 100% das interações, com auditoria amostral
2. IA sinaliza, humano confirma	Evidência alta, julgamento alto	Tom em reclamação grave, recusa de pedido, promessa feita ao cliente, risco de cancelamento	IA marca o caso; analista revisa e decide
3. Humano em amostra dirigida	Evidência baixa, julgamento alto	Correção técnica da solução, decisão de exceção, uso adequado de alçada	Analista, em amostra escolhida pela IA (não sorteada)
4. Sai do formulário	Evidência baixa, julgamento baixo	“Foi proativo?”, “Demonstrou entusiasmo?”, sem definição observável	Ninguém: reescreva o critério ou elimine

Como aplicar, passo a passo:

1. Liste todos os critérios atuais do formulário, um por linha.
2. Para cada critério, escreva a pergunta de evidência: “qual trecho da conversa prova que isso aconteceu ou não?”. Se ninguém conseguir responder em uma frase, a evidência é baixa.
3. Escreva a pergunta de julgamento: “o que eu preciso saber, além da conversa, para dar a nota?”. Se a resposta envolver sistema, política ou histórico, o julgamento é alto.
4. Posicione o critério no quadrante e defina o dono.
5. Reescreva os critérios do quadrante 4 até virarem observáveis, ou corte. “Foi proativo” pode virar “ofereceu a solução para o próximo problema provável antes de o cliente perguntar”.
6. Revise a matriz a cada ciclo de calibração. Critérios mudam de quadrante quando você melhora a base de conhecimento ou a transcrição.

A grande virada é o quadrante 3: o analista deixa de sortear e passa a investigar os casos que a IA apontou como suspeitos. Discuti esse novo papel em monitor humano ou por IA: qual é melhor para a qualidade, e a minha resposta continua sendo: os dois, com papéis diferentes.

Passo a passo de implantação

1. Redesenhe o formulário antes de escolher a ferramenta

Aplique a Matriz Evidência × Julgamento. Um formulário enxuto, com critérios observáveis e pesos que reflitam o que importa para o cliente, vale mais do que qualquer funcionalidade de software. Inclua ao menos um critério de resultado (houve rechamada em sete dias?), não só de comportamento.

2. Calibre IA e analista antes de valer nota

Selecione um lote de interações reais, variado em motivo, canal e dificuldade. A IA e pelo menos dois analistas avaliam o mesmo lote, sem ver a nota um do outro. Compare a concordância critério por critério, porque uma nota final igual pode esconder discordâncias que se anulam. Concordância baixa costuma ter uma de três causas: critério mal escrito, transcrição ruim ou instrução mal configurada. Ajuste e repita. Minha recomendação: só libere um critério para o quadrante 1 quando a concordância com os analistas ficar estável por pelo menos dois ciclos seguidos.

3. Rode um piloto pequeno e sem consequência

Escolha uma fila, de preferência com um supervisor que acredite no projeto. No piloto, a nota da IA não entra em avaliação de desempenho, bônus ou ranking. O objetivo é aprender onde a IA erra, quanto tempo o analista economiza e que descobertas aparecem.

4. Comunique o time antes de ligar a ferramenta

Operador que descobre por acaso que “agora a IA ouve tudo” entende uma coisa só: vigilância. Explique o que muda e para que os dados serão (e não serão) usados. Mostre o formulário e um exemplo de devolutiva. Crie um canal de contestação com prazo de resposta.

5. Use o dado para coaching, não para relatório

O valor da IA está em transformar 100% das interações em pauta de desenvolvimento. O estudo de Erik Brynjolfsson, Danielle Li e Lindsey Raymond, publicado pelo NBER e depois no Quarterly Journal of Economics, acompanhou 5.179 agentes de suporte e mostrou que um assistente de IA aumentou a produtividade em 14% em média e em 34% entre os profissionais menos experientes. O estudo trata de assistente em tempo real, não de monitoria, mas aponta o caminho: a IA rende mais quando espalha as práticas dos melhores para o resto do time. Tratei a outra ponta, o assistente em tempo real, em como treinar agentes para trabalhar lado a lado com a IA.

Na prática, o supervisor recebe por semana dois ou três comportamentos por operador, com trechos reais, e conduz uma conversa de quinze minutos: um ponto forte, um ponto a desenvolver, um compromisso.

Como evitar que a monitoria vire ferramenta de punição

A pressão para usar IA no atendimento é forte e vem de cima. Uma pesquisa do Gartner com 321 líderes de atendimento, divulgada em fevereiro de 2026, mostrou que 91% relatam pressão da alta liderança para implementar IA. A mesma pesquisa mostra que 84% planejam acrescentar novas habilidades ao papel do agente. Esse é o ponto: se a função do operador vai ficar mais complexa, a qualidade precisa desenvolver gente, e não só contar falhas.

As regras que recomendo:

• Nenhuma nota automática gera advertência sozinha. Qualquer consequência disciplinar passa por revisão humana do caso completo.
• O operador vê o que o supervisor vê. Mesmo painel, mesmos trechos, mesma nota. Transparência reduz a sensação de vigilância.
• Proporção de elogios. A IA encontra também os atendimentos excelentes. Use isso para reconhecer, e não só para corrigir.
• Separe falha de processo de falha de pessoa. Quando 40 operadores erram o mesmo item, o problema é o processo, o sistema ou o treinamento, e não os 40 operadores.
• Contestação com prazo. Se o operador contestar e o analista concordar, o critério volta para a calibração.

Uma mudança simples costuma ter efeito grande: tirar o ranking individual de qualidade do mural e colocar no lugar os três temas que mais travaram o time na semana. A conversa passa de “quem errou” para “o que nos faz errar”.

Cuidados de privacidade, de forma prática

Gravações e transcrições contêm dados pessoais de clientes e de operadores. Alguns cuidados simples resolvem a maior parte dos riscos:

• Mascare documento, cartão e senha nas transcrições antes da análise.
• Defina quem acessa gravações completas e registre esses acessos.
• Estabeleça prazo de guarda e apague o que perdeu finalidade.
• Confira no contrato onde os dados ficam e se o fornecedor os usa para treinar modelos.
• Envolva o jurídico e o encarregado de dados desde o desenho.

Como medir se está funcionando

Monitoria por IA precisa mudar indicadores de cliente e de operação. Os que acompanho:

1. Concordância IA × analista por critério, acompanhada a cada calibração.
2. Taxa de contestação dos operadores e percentual de contestações aceitas.
3. Taxa de rechamada e resolução no primeiro contato, que mostram se a qualidade avaliada virou qualidade percebida.
4. Taxa de contato por cliente, um dos indicadores que usamos no diagnóstico CX Maturity Intelligence: se a qualidade melhora, o cliente precisa ligar menos.
5. Reclamações em canais formais (ouvidoria, órgãos de defesa do consumidor, plataformas de reputação).
6. Tempo do supervisor em coaching versus tempo em relatório.
7. Turnover e absenteísmo do time, para garantir que a ferramenta não está corroendo o clima.

Esse último ponto não é detalhe. Segundo a Associação Brasileira de Telesserviços (ABT), o telesserviço está entre os setores que mais empregam no Brasil. É muita gente para tratar como número em painel.

Erros mais comuns que vejo

• Automatizar o formulário antigo sem redesenhar critérios.
• Não auditar a transcrição. Se ela erra o nome do produto, a avaliação inteira fica comprometida.
• Demitir o time de qualidade em vez de mudar o papel dele para investigação, calibração e coaching.
• Ligar a nota da IA ao bônus no primeiro mês. É o caminho mais curto para o time aprender a “agradar a máquina”.
• Olhar só para o operador e esquecer que a maior parte das falhas recorrentes nasce em processo, política e sistema.
• Medir sucesso pelo volume avaliado. Avaliar 100% não vale nada se nenhuma decisão muda.

O que fazer a partir de amanhã

1. Imprima o seu formulário de qualidade atual e aplique a Matriz Evidência × Julgamento. Conte quantos critérios caem no quadrante 4.
2. Separe 30 interações recentes, variadas, e peça para dois analistas avaliarem sem ver a nota um do outro. A discordância entre humanos já mostra onde o critério é frágil.
3. Pergunte ao seu time de qualidade quanto tempo, por semana, vai para ouvir e quanto vai para conversar com operadores.
4. Cruze a nota de qualidade dos últimos três meses com rechamada e reclamações. Se elas não andam juntas, o formulário mede a coisa errada.
5. Escreva, em uma página, as regras de uso do dado de qualidade (o que pode e o que não pode) antes de conversar com qualquer fornecedor.

A IA finalmente permite que a qualidade olhe para tudo. A decisão que continua sendo nossa é o que fazer com o que ela vê.

Referências

Call Centre Helper (Megan Jones). Less than 2% of Interactions Evaluated for Quality Purposes. Call Centre Helper, 4 nov. 2016. Disponível em: callcentrehelper.com.

ISG Research (antiga Ventana Research). Contact Center Quality Processes Must Modernize for the Digital Era. ISG Research, 15 jul. 2022. Disponível em: research.isg-one.com.

Forrester (Christina McAllister). The Conversation Intelligence Solutions For Contact Centers Landscape, Q1 2025. Forrester, 24 jan. 2025. Disponível em: forrester.com.

SQM Group (fornecedor). AutoCX Customer Experience Validation Case Study. SQM Group, s.d. Disponível em: sqmgroup.com.

Brynjolfsson, Erik; Li, Danielle; Raymond, Lindsey R. Generative AI at Work. NBER Working Paper 31161, abr. 2023 (rev. nov. 2023; publicado no Quarterly Journal of Economics, 2025). Disponível em: nber.org.

Gartner. Gartner Survey Finds 91% of Customer Service Leaders Under Pressure to Implement AI in 2026. Gartner Newsroom, 18 fev. 2026. Disponível em: gartner.com.

Associação Brasileira de Telesserviços (ABT). Mapa do Emprego: setor de telesserviço é o que mais emprega no Brasil. ABT, s.d. Disponível em: abt.org.br.

Sobre a autora

Sou Euriale Voidela. Iniciei minha carreira em 1998 como operadora de atendimento e, desde então, construí uma trajetória de mais de 25 anos dedicada à evolução do relacionamento com clientes. Sou especialista em Customer Experience, Customer Success e Customer Centricity, fundadora e CEO da Customer Centric Consulting, editora-chefe do Portal Customer, presidente da AIESC, autora de 5 livros sobre CX e CS e conselheira de empresas.

Já apoiei mais de 100 projetos e operações de atendimento em empresas de diferentes segmentos, atuando na implantação de programas de experiência do cliente, governança, inteligência de dados e transformação organizacional. Uma das minhas principais bandeiras é a valorização dos profissionais que representam as marcas todos os dias na linha de frente do atendimento.

Sobre a Customer Centric Consulting

A Customer Centric Consulting é a consultoria que fundei para ajudar empresas a transformar experiência do cliente em resultado de negócio, da estratégia à execução. Atuamos em diagnóstico de maturidade em CX e CS, redesenho de jornadas e processos, governança e indicadores, tecnologia e Inteligência Artificial aplicada ao atendimento, cultura centrada no cliente e estruturação de operações de contact center.

Nosso principal diferencial é o método CX Maturity Intelligence, um diagnóstico estruturado que combina análise qualitativa (pilares, critérios e regras que evitam avaliações infladas) com análise quantitativa de dados operacionais reais, como taxa de contato, comportamento do cliente único, speech analytics e correlações regulatórias. É esse cruzamento entre percepção e dado que torna possível saber, com precisão, em que estágio de maturidade uma empresa realmente está, e não em qual estágio ela acredita estar.

Saiba mais em customercentric.com.br ou conheça também o Portal Customer, mídia especializada em CX e CS.

Se a nota de qualidade da sua operação não conversa com a rechamada, as reclamações e a taxa de contato, o problema não está no operador, está no modelo de qualidade. A Customer Centric Consulting aplica o diagnóstico CX Maturity Intelligence para mostrar, com dados reais, onde estão os gaps. Fale com a nossa equipe.