Hoje, anunciamos o Bonsai 27B, o novo modelo multimodal baseado no Qwen3.6 27B, que se destaca como a principal inovação da família Bonsai e é o primeiro de sua classe a operar em dispositivos móveis.

Os lançamentos anteriores demonstraram que modelos com pesos de 1-bit e ternários poderiam gerar modelos de linguagem úteis comercialmente. O Bonsai 27B expande essa fronteira, introduzindo um novo nível de capacidade: raciocínio em múltiplas etapas, chamadas estruturadas de ferramentas, tarefas de visão e loops de agente que mantêm a coerência ao longo de diversas etapas. Até agora, a implementação desse nível localmente era inviável, pois um modelo de 27B ocupa cerca de 54 GB em precisão de 16 bits, e mesmo uma versão otimizada de 4 bits, com 18 GB, era grande demais para um telefone ou a maioria dos laptops.

O Bonsai 27B altera esse cenário. Ele vem em duas variantes: a Ternary Bonsai 27B, que utiliza pesos ternários {−1, 0, +1} com escalonamento em grupo FP16, resultando em 1.71 bits efetivos por peso e ocupando 5.9 GB. Esta é a variante focada na qualidade, compatível com laptops comuns e capaz de executar raciocínio completo e chamadas de ferramentas. Por outro lado, a 1-bit Bonsai 27B utiliza pesos binários {−1, +1} e oferece 1.125 bits efetivos por peso, ocupando apenas 3.9 GB, o que a torna ideal para um iPhone 17 Pro.

Ambas as variantes são multimodais, com a torre de visão sendo entregue em uma forma compacta de 4 bits, permitindo que fluxos de trabalho no dispositivo reconheçam imagens e documentos, além de texto. O Bonsai 27B suporta um contexto de 262K tokens e acelera a velocidade por meio de decodificação especulativa, combinando a velocidade com uma aceleração de rascunho e verificação sem perdas. Todas as funcionalidades estão disponíveis a partir de hoje sob a Licença Apache 2.0.

O Bonsai 27B demonstrou manter 95% da precisão total em uma suíte de 15 benchmarks que abrange conhecimento, raciocínio, matemática, programação, seguimento de instruções, chamadas de ferramentas e visão. A variante 1-bit manteve 90%. Este desempenho é notável, especialmente em áreas como matemática e programação, onde quase não houve perda de eficácia. Em comparação, a construção convencional de baixo bit mais agressiva do mesmo modelo base teve um desempenho significativamente inferior.

Este avanço representa uma mudança de paradigma importante, pois os trabalhos mais valiosos em IA estão se afastando de respostas pontuais para tarefas mais complexas e sustentadas. Isso significa que um agente não realiza apenas uma chamada de modelo, mas sim centenas, cada uma transportando contexto e produzindo saídas estruturadas. Embora as APIs em nuvem continuem sendo uma escolha válida para muitos produtos, a execução local elimina limitações estruturais, como a necessidade de conexões remotas e custos por token.

A execução local altera radicalmente as possibilidades. Um modelo que pode realizar trabalho agente de forma sustentável em um dispositivo permite que o agente viva dentro do produto, onde o custo marginal de um loop de cem etapas é zero e os dados do usuário permanecem seguros. O Bonsai 27B é o modelo que torna isso viável.

Além disso, ele habilita uma nova arquitetura de sistema, permitindo implantações híbridas que direcionam tarefas sensíveis à privacidade para um modelo local e reservam modelos em nuvem para as etapas mais desafiadoras. O Bonsai 27B atinge até 163 tok/s em 1-bit e 134 tok/s em Ternary em uma NVIDIA GeForce RTX 5090, mostrando eficiência impressionante.

Cada liberação do Bonsai tem empurrado a fronteira de inteligência por gigabyte, e o Bonsai 27B avança além de um limite prático: a totalidade das capacidades de um modelo moderno agora cabe em dispositivos que as pessoas já possuem. Acreditamos que a densidade de inteligência será um dos eixos definidores da próxima etapa do progresso em IA, ampliando as opções de dispositivos e produtos onde a IA avançada pode operar.

Finalmente, o Bonsai 27B roda nativamente em dispositivos Apple (Mac, iPhone, iPad) e em GPUs NVIDIA. Com este lançamento, oferecemos uma API de prévia para desenvolvedores experimentarem nosso modelo. Se você deseja contribuir para a próxima geração de IA de ponta, estamos abertos a ouvir você. Confira nossa página de carreiras. https://player.vimeo.com/video/1209711000?h=5459272838