O GeneBench-Pro da OpenAI coloca os agentes de IA à prova na biologia computacional

A OpenAI lançou o GeneBench-Pro, um benchmark de pesquisa projetado para avaliar se agentes de IA são capazes de realizar as análises complexas e que exigem grande capacidade de julgamento necessárias na biologia computacional do mundo real. Ao contrário dos benchmarks convencionais, que se concentram na recuperação de fatos, o GeneBench-Pro mede o que a OpenAI chama de “gosto pela pesquisa” — a sequência de decisões baseadas em julgamento na análise científica, desde a interpretação de dados ambíguos até a determinação de se as descobertas são robustas o suficiente para orientar pesquisas posteriores. O benchmark compreende 129 problemas que abrangem dez domínios, incluindo genética estatística, genômica do câncer, diagnósticos clínicos e farmacogenômica. Os revisores estimaram que cada tarefa exigiria de 20 a 40 horas de trabalho de um especialista humano — a um custo estimado de US$ 200 por hora —, em comparação com os custos de inferência da IA de apenas alguns dólares por tarefa. O modelo GPT-5.6 Sol, da OpenAI, alcançou uma taxa de aprovação de apenas 28,7%, subindo para 31,5% no modo Pro — ainda assim, um salto significativo em relação à pontuação inferior a 5% do GPT-5 no GeneBench original. Para incentivar a avaliação independente, a OpenAI está disponibilizando dez tarefas como código aberto no Hugging Face e fornecendo um subconjunto de 50 questões à Artificial Analysis para testes de desempenho por terceiros.

‍