Agentes de IA: 4 fatores que podem fazer a diferença entre um projeto experimental e uma solução que funciona na prática

Análise da DataCrazy sobre os resultados de 55 agentes de 38 empresas aponta quatro fatores que diferenciam projetos experimentais de soluções prontas para operar: volume real de atendimento, capacidade de resolver bem um problema específico, custo operacional controlado e domínio do próprio prompt;

À medida que empresas avançam da experimentação para o uso de agentes de inteligência artificial em suas operações, alguns fatores podem fazer a diferença entre um projeto experimental e uma solução que funciona na prática. A análise dos resultados do Crazy AI Talents, competição criada pela DataCrazy que reuniu 55 agentes de 38 empresas, identificou quatro aspectos que se destacaram entre os projetos avaliados: uso em situações reais, capacidade de resolver bem um problema específico, custo operacional controlado e domínio da própria arquitetura.

1. Volume real de atendimento

Na primeira fase, realizada em agosto, os sete jurados avaliaram aspectos relacionados à construção dos agentes, como complexidade, prompt, base de conhecimento, criatividade e eficiência no uso de tokens. Na etapa final, o critério mudou: os agentes precisaram demonstrar sua capacidade de atingir o objetivo para o qual foram criados e de conduzir o funil de atendimento. Para isso, os jurados analisaram conversas reais entre os agentes e clientes dentro do CRM, considerando também a ocorrência de alucinações. 

Entre os dez finalistas, seis aumentaram sua pontuação na segunda etapa, enquanto quatro recuaram. A média de evolução foi de 0,17 ponto em uma escala de 0 a 3. As maiores altas foram registradas pelos agentes da Foco CNH (+0,49), Força e Luz (+0,44), Velas Vitória (+0,41) e Solardesc (+0,39). 

A mudança de desempenho também alterou significativamente o ranking. A Força e Luz, por exemplo, passou da sexta para a terceira posição; a Solardesc subiu do terceiro para o segundo lugar. No sentido oposto, a Scarpy caiu da quarta para a oitava colocação, enquanto a A Oliveira passou da nona para a décima posição. 

A análise das avaliações dos sete jurados apontou um padrão: os agentes que chegaram à operação com clientes reais tiveram, em geral, melhor evolução do que aqueles que permaneceram predominantemente em ambiente de testes. 

“O que essa etapa mostrou é que o Brasil já passou da fase de brincar com IA. Recebemos 55 agentes de 38 empresas, e os melhores não foram os mais sofisticados: foram os que estavam atendendo cliente de verdade, todo dia”, afirma o CEO e fundador da DataCrazy, Andreone Ribeiro, empresa responsável pela criação e realização do Crazy AI Talents.

 

2. Capacidade de resolver bem um problema específico 

A competição também mostrou que a quantidade de ferramentas ou agentes não foi sinônimo de melhor desempenho. Entre os dez finalistas, foram utilizadas 175 ferramentas conectadas, 15 bases de conhecimento e 152.572 caracteres de instruções — uma média de 17,5 ferramentas por finalista, contra 11,2 entre as 38 empresas avaliadas ao longo da competição. 

Um dos principais pontos de atenção identificados pelos jurados foi justamente a complexidade desnecessária. Entre os comentários registrados estavam avaliações como “está mais complexo do que deveria ser” e observações de que alguns participantes poderiam ter evoluído mais rapidamente com menos funções e agentes. 

O contraste apareceu de forma clara entre os finalistas. A Força e Luz, distribuidora de materiais elétricos de Presidente Prudente (SP), terminou a competição em terceiro lugar com apenas um agente conectado a três ferramentas, dedicado ao pós-venda de energia solar. Para os jurados, a solução, embora simples, foi resolutiva e estava efetivamente em produção, atendendo casos reais. 

Já a Scarpy, que chegou à fase final com cinco agentes e 44 ferramentas conectadas — a estrutura mais robusta entre os finalistas — terminou em oitavo lugar. Entre os pontos levantados pelos avaliadores estavam a complexidade da arquitetura e a falta de uso real.

 

3. Custo operacional controlado 

Para a DataCrazy, a experiência reforça quatro características que passaram a separar os projetos mais maduros: volume real de atendimento, capacidade de resolver bem um problema específico, custo operacional controlado e domínio do próprio prompt por quem construiu o agente. 

“A diferença entre um projeto experimental e uma solução pronta é simples de descrever e difícil de fazer: a solução pronta está em produção, resolve um problema específico muito bem, tem custo sob controle e quem construiu entende o que ela faz. O experimento é bonito na demonstração e não sobrevive ao volume”, diz Andreone.

 

4. Domínio do próprio prompt por quem construiu o agente 

A grande final teve uma particularidade: duas soluções terminaram na primeira colocação, em categorias distintas da disputa. A Abetaia Acesso Digital ficou com o 1º lugar Plus, enquanto a Glipweb conquistou o 1º lugar, resultado atribuído à proximidade de desempenho das soluções e às diferentes formas encontradas pelas empresas para resolver seus desafios. 

A Glipweb também ilustra a evolução de uma arquitetura inicialmente simples. A empresa havia inscrito um agente com duas ferramentas e 4.169 caracteres de instruções, desenvolvido para apoiar a venda personalizada de músicas. Doze dias depois, durante a avaliação ao vivo, os jurados encontraram uma arquitetura diferente: três agentes trabalhando de forma coordenada para conduzir a venda, além de um quarto agente dedicado a upsell, todos operando dentro da plataforma. O resultado mostrou que a empresa identificou o que precisava resolver e adaptou sua estrutura para executar. 

A Abetaia, por sua vez, chegou ao topo com uma estrutura formada por quatro agentes, voltados a diferentes etapas da jornada, como abordagem inicial, pitch, pós-venda e relatório. A empresa já havia terminado a etapa anterior na primeira posição entre os finalistas. 

Premiação combina dinheiro, reconhecimento e visibilidade - A premiação combinou valores em dinheiro com oportunidades de desenvolvimento, reconhecimento e visibilidade no mercado.

Os três primeiros colocados receberam a placa AI Builder, que reconhece os especialistas em agentes de IA da comunidade DataCrazy. O 1º lugar recebeu R$ 10 mil, viagem a Balneário Camboriú com acompanhante, produção de documentário sobre sua história e outros conteúdos; o 2º lugar recebeu R$ 5 mil, viagem a Balneário Camboriú, placa AI Builder, entrevista e destaque na vitrine da plataforma; e o 3º lugar recebeu R$ 3 mil, além da placa AI Builder, entrevista, destaque na vitrine e participação no palco da grande final.

 

IA aplicada onde está o cliente - O Crazy AI Talents também confirmou que os primeiros usos mais recorrentes de agentes continuam concentrados na relação direta com clientes. Entre os dez finalistas, todos os projetos estavam ligados ao funil comercial ou ao atendimento, incluindo qualificação de leads, vendas, recuperação de carrinho, pós-venda e triagem. 

Um dos exemplos veio do escritório Gomes Taveira Advogados, de São Paulo, cujo agente faz a triagem inicial de casos, entende a demanda apresentada pelo potencial cliente e identifica se ela está dentro do escopo de atuação do escritório. Para um dos jurados, a solução resolve uma dor de triagem. 

A competição também mostrou que a aplicação de IA já alcança negócios tradicionais e operações bastante específicas. Entre os participantes estiveram empresas de comércio, educação, advocacia, energia solar, saúde, varejo, marketing e outros segmentos. 

Um exemplo foi o de uma fábrica de velas de Taquaritinga, no interior paulista. A empresa utiliza a Vitória, agente criado para atuar como assistente dos vendedores. O projeto havia sido desenvolvido anteriormente em outra ferramenta, em um processo que levou cerca de dois meses sem chegar ao resultado esperado. Na DataCrazy, a nova versão ficou pronta em dez dias e entrou em atendimento a clientes reais apenas dez dias depois do cadastro. A empresa terminou em quinto lugar, avançando duas posições na competição.

 

Da construção à operação - O desenho do Crazy AI Talents foi estruturado justamente para testar essa passagem. Dos 100 pontos possíveis, 55 estavam relacionados à construção do agente e 45 à sua operação em situações reais. Isso fez com que um agente pudesse apresentar um bom desempenho na avaliação de engenharia e, ainda assim, perder posições quando colocado diante de conversas reais com clientes. 

“Para quem está pensando em implementar, o aprendizado é esse: comece pequeno e coloque para rodar. A empresa que passou duas semanas polindo o agente perfeito perdeu para a que colocou um agente simples atendendo na segunda-feira e foi corrigindo com cliente real. IA em produção com defeito ensina mais do que IA perfeita em teste”, conclui Andreone.

 

Resultados - Ao todo, o Crazy AI Talents recebeu 272 pré-inscrições, das quais 203 vieram de pessoas que ainda não eram clientes da DataCrazy. A competição chegou a 55 agentes desenvolvidos por 33 pessoas de 38 empresas. A avaliação técnica contou com sete jurados, que acompanharam as duas etapas da disputa. 

A comunidade também participou da jornada, com 2.054 votos de 1.564 pessoas e 1.948 reações. O projeto criado pela DataCrazy permitiu acompanhar, em um mesmo ambiente, diferentes estágios de desenvolvimento de agentes de IA, desde a construção técnica à operação com clientes.

DataCrazy
datacrazy.io
@crm.datacrazy