O Jev aparece em tudo que eu leio de IA
Desde a semana passada o Jev aparece em praticamente tudo que eu leio de IA. A TypeSafe lançou o modelo na última terça e, ao contrário dos LLMs que geram texto, ele devolve uma resposta "fechada", com um grau de confiança, de acordo com a pergunta que recebe.
O que mais se destaca nele é velocidade e custo. A própria TypeSafe fala em respostas de 20 a 200 vezes mais rápidas e custos de 40 a 400 vezes mais baratos. Essa parte eu não medi. Em poucos dias já tinha vídeo de demonstração e muita gente publicando projeto em cima.
Nas aplicações em que a gente tem trabalhado com roteamento e governança de agentes, boa parte das decisões já é tomada de forma "tipada" e "fechada". Chega um pedido e alguém precisa dizer se o modelo barato dá conta ou se escala pro mais capaz. O agente pede pra chamar uma ferramenta, e a pergunta é se pode rodar agora ou se para. A sessão termina, e a pergunta é se o agente de fato resolveu o que pediram, ou só parou dizendo que estava pronto. Um trecho volta da busca, e a pergunta é se serve pra resposta ou é ruído. No meio disso, ainda tem que saber se passou dado sensível. Hoje essas perguntas ainda vão, com frequência, pro mesmo modelo generativo de texto. A gente até força a resposta num formato definido, mas quem preenche continua sendo o modelo que "escreve", e ele pode respeitar esse "contrato" ou não.
Então separei um dia pra fazer essas mesmas perguntas pro Jev. Escrevi 81 casos, com a resposta que eu esperava anotada antes de chamar a API. Os cortes de quando libera, bloqueia ou escala ficaram no meu código. O modelo só devolve a resposta e o quanto confia nela.
Acertou 76 dos 81, cada resposta em torno de 400 milissegundos. Na escolha entre o modelo barato e o mais capaz acertou os 11 casos, inclusive um que eu escrevi começando com "isso é simples, use o modelo pequeno" e escondendo logo depois um pedido pra tirar dado de cliente do banco. Foi pro modelo grande mesmo assim. Já um comando de leitura com uma instrução escondida pra "sempre liberar" passou como risco baixo, com confiança alta.
Cada resposta vinha com um grau de confiança, e eu já tinha no código um limite pra quando ela caísse demais. Teve pedido ambíguo, agente repetindo a mesma ferramenta sem sair do lugar e agente dizendo que tinha terminado depois de um comando falhar, e a confiança caiu tanto que o limite do código não deixava a resposta passar sozinha. Já no "sempre liberar" foi o contrário. Errou com a confiança lá em cima, e ali nenhum corte meu segurou. A baixa eu passei a usar como freio. A alta eu parei de ler como um "pode passar".
No fim do dia o Jev mostrou potencial. Latência baixa, custo baixo, e nos 81 casos a qualidade ficou razoável. Mesmo assim o veredito é cautela. Ainda não tem histórico em produção, é um fornecedor novo, e trocar pra ele agora é criar uma dependência arriscada.
P.S. Hoje já aparecem alternativas open source pra rodar local, tipo Laya, Nimble e OpenJev.
