IA · para times técnicos

IA em produção, com critério.

Agentes, IA no desenvolvimento e avaliação de modelos. Para colocar IA em produção sem perder o controle de qualidade e de custo.

Agendar consultoriaVer evals
  1. 01 · Requisito

    “Ler os pedidos que chegam por e-mail, validar e avisar o cliente quando sair.”

  2. 02 · Agente
    • ferramentas
    • extrair_pedido()
    • validar_endereco()
    • notificar_cliente()
  3. 03 · Evals
    Acerto
    96%
    Custo / pedido
    R$ 0,006
    Latência p95
    1,8 s
  4. 04 · Produção
    Monitorado

Exemplo ilustrativo

Frentes

Do primeiro agente ao time inteiro usando IA.

Sistemas agênticos

IA como software: agentes que usam ferramentas, seguem regras e deixam rastro auditável. Com uma pessoa no circuito onde o erro custa caro.

tool use · orquestração · guardrails

IA no desenvolvimento

IA como ferramenta do time: assistentes de código, revisão, geração de testes e documentação, com padrões para não perder qualidade.

fluxo · revisão · testes

Implantação

Escolha de modelos, arquitetura, segurança de dados e previsão de custo antes de escalar.

diagnóstico · arquitetura · roadmap

Evaluations

Qualidade, custo, latência e tokens medidos por modelo e por prompt, a cada mudança.

suítes · métricas · regressão
Evaluations

O modelo mais caro nem sempre é o certo.

Cada candidato roda a mesma suíte de casos do seu domínio. Você decide com números: quanto acerta, quanto custa, quanto demora e quantos tokens gasta.

Suíte · extração de pedidos500 / 500 casos · concluído
ModeloAcertoCusto / 1k exec.Latência p95Tokens / exec.
Modelo AGrande
94%
R$ 38,004,2 s3,1 mil
Modelo BMédio
91%
R$ 7,401,9 s2,4 mil
Modelo CPequeno
78%
R$ 1,200,8 s1,9 mil
RecomendadoModelo B: 3 pontos abaixo do A em acerto, por um quinto do custo e metade da latência.Exemplo ilustrativo

Casos do seu domínio

Montados com exemplos reais, não com benchmark genérico.

Métrica automática e revisão humana

Checagens programáticas, LLM como avaliador e amostragem manual.

Roda a cada mudança

Troca de prompt ou de modelo passa pela suíte antes de ir para produção.

Custo e tokens

Gastar menos token sem perder qualidade.

Roteamento de modelo

Tarefa simples vai para modelo pequeno. O grande só entra quando precisa.

Cache de prompt

Instruções e contexto fixos pagos uma vez, não a cada chamada.

Contexto enxuto

Recuperar só o trecho relevante em vez de mandar o documento inteiro.

Saída estruturada

Respostas em formato definido: menos tokens e menos erro de leitura.

Método

Especificação, testes e métrica desde o primeiro dia.

  1. Diagnóstico

    Onde a IA gera resultado e onde não compensa.

  2. Especificação

    Regras por escrito, cada uma com seu caso de teste.

  3. Construção com evals

    Cada entrega passa pela suíte.

  4. Produção monitorada

    Qualidade e custo acompanhados depois do lançamento.

Sobre

Quem conversa com você é quem constrói.

Eu desenho a arquitetura, construo os agentes, monto as suítes de avaliação e acompanho custo e qualidade em produção.

Elton Casaccia · FundadorCiência da Computação (2015) · MBA em Desenvolvimento de Sistemas com IA

Vamos falar de IA.

Uma conversa técnica para entender o seu caso.

Agendar consultoria