Quando o piloto encontra os seus dados reais

A maioria dos pilotos de IA é mostrada com meia dúzia de exemplos bem escolhidos: um email claro, um PDF arrumado, uma pergunta com resposta óbvia. Funcionam, todos ficam impressionados e o projeto é aprovado. Depois o sistema encontra a caixa de entrada.

Os pedidos reais são mais confusos do que as demonstrações. Chegam como respostas a conversas antigas, com o detalhe importante no terceiro anexo, num PDF digitalizado ou numa frase que contradiz o desenho. Alguns vêm em línguas que ninguém testou. Alguns nem sequer são pedidos.

O que costuma falhar

• Anexos: desenhos digitalizados, folhas de cálculo com células unidas e ficheiros chamados scan0042.pdf.
• Conversas: a pergunta do email de hoje só faz sentido com a de há três semanas.
• Exceções: a encomenda urgente, o cliente habitual que salta o formulário, o pedido que é na verdade uma reclamação.
• Responsável: ninguém ficou encarregado do sistema, por isso, quando lê algo mal, ninguém repara.

Teste-o com o seu próprio trabalho

Antes de se comprometer com qualquer sistema de IA, incluindo o nosso, peça que o corram numa amostra dos seus próprios pedidos antigos, por exemplo os últimos cinquenta, escolhidos por si e não pelo fornecedor. Como são pedidos antigos, já sabe as respostas certas. Compare o que o sistema produziu com o que a sua equipa fez de facto, pedido a pedido.

Conte três coisas: quantas vezes acertou, quantas vezes errou de uma forma que alguém teria apanhado, e quantas vezes errou de uma forma que podia ter chegado a um cliente. O último número é o que mais importa, e é o que as demonstrações nunca mostram.

Decida com os números

Se os resultados forem bons, fica também com uma base para medir o sistema depois de entrar em produção. Se não forem, descobriu-o pelo preço de um teste e não de um projeto. De uma forma ou de outra, a decisão é tomada com os seus dados, não com uma demonstração.

É assim que a auditoria olha para cada oportunidade que prioriza: quanto vale no seu trabalho real, e o que seria preciso para lá chegar.