Recentemente, o cenário dos Modelos de Linguagem de Grande Escala (LLMs) tem evoluído de forma impressionante. Inicialmente, eu havia planejado uma sessão intitulada "O último ano em LLMs", mas com o ritmo acelerado das inovações, cobrir apenas os últimos seis meses já se tornou um desafio considerável.

Nos últimos seis meses, mais de 30 modelos significativos foram lançados, todos merecendo a atenção de quem atua nesse campo. Este crescimento vertiginoso levanta questões sobre como avaliar adequadamente esses modelos e determinar quais são os mais eficazes.

Embora existam diversos benchmarks repletos de dados, pessoalmente, não vejo grande utilidade nesses números. Além disso, as tabelas de liderança, que costumavam ser uma referência, têm perdido minha confiança ao longo do tempo.

Diante desse cenário, percebo que cada profissional deve desenvolver seu próprio sistema de avaliação. O meu, que começou como uma brincadeira, está se mostrando surpreendentemente útil para entender melhor os modelos disponíveis.