Testes com o modelos GPT-5.6 Luna da OpenAI

[giovanecarusoredacao]

Testes com o novo modelo GPT-5.6 Luna, da OpenAI.

Atualmente, utilizamos o modelo Gemini 3 Flash Preview, principalmente devido ao seu baixo custo. Porém, a OpenAI lançou recentemente o modelo GPT-5.6 Luna, mais barato e superior ao Gemini 3.6 Flash (evolução do Gemini 3 Flash Preview) nos benchmarks, o que o torna possivelmente o melhor modelo custo/benefício disponível.

Link de comparação lado a lado no OpenRouter:
https://openrouter.ai/compare/openai/gpt-5.6-luna/google/gemini-3-flash-preview/google/gemini-3.6-flash

Rodar scripts de eval que já temos -> updates na próxima reunião

[vrtornisiello]

Atividades planejadas da semana (o que eu fiz essa semana?)

• Troca do modelo Gemini 3 Flash Preview para o GPT-5.6 Luna
  • O prompt de sistema e as descrições das ferramentas (que também são instruções para o modelo) foram reescritas seguindo a documentação de Orientação de Modelos GPT-5.6 da OpenAI. As principais mudanças foram a remoção de instruções repetidas e a simplificação das descrições das ferramentas.
  • O esforço de raciocínio foi configurado como médio, buscando um ponto de partida balanceado entre custo/latência/qualidade e para evitar overthinking do modelo (geração desnecessária de raciocínio).
  • Ajuste no middleware de sumarização para disparar com 500k tokens e manter os últimos 100k tokens (o GPT-5.6 Luna tem uma janela de contexto de 1M tokens).
  • Outros ajustes necessários no código para o funcionamento da migração.
• Remoção do campo temporal_coverage da saída estruturada (já havíamos removido da UI) e atualização do campo follow_up_questions para follow_up_prompts.
• Injeção da data atual no prompt de sistema por requisição (antes, somente a data em que o servidor era iniciado era injetada).

Ainda falta:

• Revisar e definir o comportamento esperado do agente em situações específicas.
• Refazer o conjunto de eval de acordo com os comportamentos esperados e reescrever os scripts de eval considerando o novo formato de saída estruturada (sem o campo temporal_coverage e com o campo follow_up_questions substituído pelo campo follow_up_prompts)

Note

Apesar de o eval ainda estar pendente, o GPT-5.6 Luna se demonstrou melhor em seguir instruções durante os testes end-to-end manuais e por isso a versão que o utiliza já está disponível em staging para testes e feedback do time.

Atividades não planejadas da semana (O que eu fiz que não estava planejado pela reunião anterior ou cronograma de projeto?)

• Adicionado um limite no número de linhas que são enviados para o LLM, para evitar poluir o contexto do agente e controlar o custo, caso muitas linhas sejam retornadas por uma consulta (casos raros). O limite foi configurado para 1000 linhas. Os downloads ainda baixam o resultado completo da consulta.
• Localização dos campos recuperados pela API nas ferramentas get_dataset_details e get_table_details e do nome das fontes dos dados exibidos na UI.

[vrtornisiello]

Deploy feito em prod: basedosdados/chatbot#68.