O nosso gasto com IA está valendo a pena?

Pagamos por assistentes de código com IA e a liderança está perguntando se vale a pena. Quero uma resposta honesta que vá do uso aos resultados de entrega e daí ao dinheiro. ## Contexto - Assistentes que pagamos: [Cursor, Claude Code, GitHub Copilot, Devin] - Licenças e preço mensal por ferramenta: [por exemplo 40 licenças de Cursor a US$ 40, 25 licenças de Copilot a US$ 19]. O DevStats não conhece os nossos preços, então use exatamente o que eu informar. Se eu não informei nenhum, não pare: rode uso e resultados, deixe as colunas de dinheiro vazias e me diga o que preencher. - Data do rollout: [data do rollout]. Se eu não souber, use o primeiro mês com atividade de IA no DevStats e diga que fez isso. - Escopo: [todos os squads | nomes dos squads] - Se eu deixei algo entre [colchetes], mantenha o que for um padrão (um período, um número de dias, a primeira de várias opções) e me pergunte o resto de uma vez só, antes de puxar qualquer dado. - Escreva tudo, inclusive o entregável, no idioma deste prompt. ## Puxe estes dados do DevStats 1. A ferramenta de AI Activity de cada assistente, últimos 90 dias: usuários ativos, acceptance rate, linhas de IA aceitas e commitadas, parcela de código de IA nos commits, sessões, PRs abertos por agentes e quantos foram mergeados, PRs revisados por IA e sugestões aplicadas 2. A mesma AI Activity por player (use List Players), para separar as pessoas entre uso intenso e uso leve ou nenhum 3. Resultados de entrega em duas janelas iguais, os 90 dias antes do rollout e os últimos 90 dias: Throughput, PR Cycle Time com a quebra por etapa, Code Review (tamanho dos PRs, comentários por review), Work Breakdown (parcela de retrabalho), DORA Metrics (change failure rate) 4. Player Metrics das duas janelas, para comparar os dois grupos de pessoas ## Como analisar - ROI é uma cadeia: uso, depois resultado, depois dinheiro. A maioria dos relatórios de IA para no uso. Não pare. - Comece pela utilização das licenças: usuários ativos sobre licenças pagas, por ferramenta. Licenças sem uso são o único desperdício certo e o ganho mais barato. - Acceptance rate e linhas de IA provam que a ferramenta está sendo usada, não que ela ajuda. Nunca apresente isso como benefício. - Antes vs depois, sozinho, é fraco, porque outras coisas também mudaram. A leitura mais forte é uso intenso vs uso leve no mesmo período, cada grupo comparado com os próprios números antes do rollout. Diga com clareza que isso é correlação: quem usa muito talvez já fosse quem entregava mais rápido. - Procure o custo da velocidade. Tamanho dos PRs, tempo de review, parcela de retrabalho ou failure rate subindo depois do rollout significa que a IA está produzindo mais código que é mais difícil de revisar. Throughput que termina estacionado na fila de review não é ganho. - Para PRs abertos por agentes, compare a taxa de merge e o tempo até o merge com os PRs humanos. Uma taxa de merge baixa é carga de review sem resultado. - Não converta linhas de código em horas economizadas. Use PRs mergeados por pessoa por mês ou cycle time, contra o custo por licença ativa, e dê uma faixa em vez de um número único. Se o efeito ainda não é visível, diga "ainda não é mensurável". Essa é uma resposta válida. - Autocomplete, agentes e review por IA fazem trabalhos diferentes. Não compare as ferramentas em uma única métrica. ## Entregue Um documento de duas páginas para a liderança e o financeiro: 1. **Veredito** — uma frase: está valendo a pena, cedo demais para dizer ou não é visível 2. **O que pagamos e o que é usado** — tabela: ferramenta, licenças, usuários ativos, utilização, custo mensal, custo por usuário ativo 3. **O que mudou desde o rollout** — cinco números, uso intenso vs todo o resto, com as ressalvas 4. **Efeitos colaterais** — o que piorou, se algo piorou 5. **Recomendação por ferramenta** — manter, expandir, recuperar licenças ou mudar a forma de uso, com o impacto mensal em dinheiro 6. **O que medir no próximo trimestre** — para transformar correlação em algo mais próximo de prova