O lançamento do Olmo 3 trouxe uma nova era para a comunidade de código aberto, oferecendo não apenas modelos avançados, mas também todo o fluxo de desenvolvimento e rastreabilidade desde os dados de treinamento. Essa abordagem visa promover a confiança e facilitar a adaptação e inovação na pesquisa em inteligência artificial.

No núcleo do Olmo 3 está o Olmo 3-Think (32B), o mais potente modelo de raciocínio totalmente aberto, permitindo que os usuários inspecionem rastros de raciocínio intermediários e conectem esses comportamentos às decisões de treinamento. Com modelos compactos de 7 bilhões e 32 bilhões de parâmetros, o Olmo 3 pode ser executado em dispositivos que vão de laptops a clusters de pesquisa.

O Olmo 3-Base (7B, 32B) é considerado o modelo base mais poderoso já desenvolvido. Em uma avaliação diversificada e expandida, ele apresenta o melhor desempenho entre modelos base totalmente abertos, como Marin de Stanford e Apertus da Swiss AI. O Olmo 3-Base se destaca em programação, compreensão de leitura e resolução de problemas matemáticos, mantendo desempenho em contextos longos de até 65 mil tokens, o que o torna uma base versátil para pré-treinamento e ajuste fino.

Além do Olmo 3-Think, há também o Olmo 3-Instruct (7B), focado em diálogos e respostas rápidas, que se destaca em tarefas de múltiplas interações e uso de ferramentas. Em nossas avaliações, ele se equipara ou supera modelos abertos de peso, como Qwen 2.5 e Gemma 3, oferecendo uma alternativa robusta para agentes conversacionais.

O Olmo 3-RL Zero (7B) representa um caminho totalmente aberto para aprendizado por reforço, projetado para impulsionar comportamentos de raciocínio complexos e permitir a avaliação clara de algoritmos de RL. Com checkpoints focados em áreas como matemática e instruções, ele possibilita um estudo minucioso do aprendizado por reforço com recompensas verificáveis.

A arquitetura do Olmo 3 utiliza um transformador somente de decodificação, com um pipeline de treinamento em várias etapas que abrange desde a pré-configuração inicial até a extensão de contexto longo. Cada estágio é documentado, permitindo personalização completa e a capacidade de intervir em qualquer ponto do desenvolvimento.

A coleta de dados para o Olmo 3 foi significativamente ampliada, resultando em conjuntos de dados de alta qualidade que abrangem todas as etapas do treinamento do modelo. O Olmo 3 é pré-treinado no Dolma 3, um novo corpus de aproximadamente 9,3 trilhões de tokens, com uma mistura que tem uma proporção maior de dados de programação e matemática em comparação com versões anteriores.

Com o Olmo 3, o objetivo vai além de simplesmente liberar pesos; trata-se de promover um fluxo de desenvolvimento aberto que permita a experimentação e a colaboração. A transparência é fundamental, com ferramentas como o OlmoTrace, que permite rastrear as saídas do modelo de volta aos dados de treinamento em tempo real, ajudando a entender como e por que o modelo gera suas respostas.

Por fim, a família Olmo 3 facilita a construção de recursos confiáveis rapidamente, seja para pesquisa, educação ou aplicações. Com um fluxo de desenvolvimento totalmente aberto, a comunidade é convidada a validar, criticar e expandir as descobertas, promovendo um avanço responsável na inteligência artificial. O verdadeiro acesso na IA não é apenas sobre liberar modelos, mas sobre construir confiança e responsabilidade na evolução da tecnologia.