PrismML lança Bonsai 2 27B, reduzindo Qwen3.8 para 5.9 GB
A PrismML afirma que a liberação de pesos ternários retém 98% das pontuações agregadas de referência do Qwen com uma redução de memória de 9x a 10x.
A PrismML lançou o Bonsai 2 27B em 17 de setembro, afirmando que ele comprime o Qwen3.8 27B de código aberto da Alibaba para um tamanho de 5,9 GB. A empresa afirma uma paridade de benchmark agregada de 98% em relação ao modelo original, visando tornar a inferência de LLM de "raciocínio" prática em dispositivos locais em vez de na nuvem.
A PrismML lançou o Bonsai 2 27B na quinta-feira, posicionando-o como uma versão compactada do Qwen3.8 27B de código aberto da Alibaba que pode ser executada com muito menos memória. A PrismML coloca o tamanho do modelo em 5,9 GB, que descreve como pequeno o suficiente para um PC e "possivelmente" um smartphone de alta gama.
O mecanismo é simples: reduzir os parâmetros armazenados do modelo o suficiente para que a inferência deixe de ser limitada por GPUs na nuvem e comece a ser limitada pelo que cabe na memória local. A PrismML afirma que o Bonsai 2 oferece uma "redução de 9x a 10x na memória em relação ao original", que é o tipo de mudança significativa que importa mais do que aumentos marginais de velocidade quando o objetivo é a implantação local.
Para os observadores de infraestrutura adjacente a cripto, a relevância imediata é a distribuição e o custo. Se um modelo de "raciocínio" com 27 bilhões de parâmetros pode ser empacotado em um tamanho de gigabyte de dígito único sem comprometer a qualidade, o gargalo se desloca da capacidade de inferência centralizada para a entrega na borda, compatibilidade de dispositivos e a pilha de software que envolve o modelo.
De 95% a 98% de Paridade: Sinais de Adoção e a Proposta de Pesos Ternários
A PrismML enquadra o Bonsai 2 como uma iteração de retenção de qualidade, não apenas um arquivo menor. A empresa afirma que o Bonsai 2 iguala 98% das pontuações de benchmark agregadas do Qwen, subindo de 95% para o primeiro lançamento do Bonsai alguns meses antes.
Há também evidências de demanda por parte de desenvolvedores que desejam modelos abertos menores. A PrismML afirma que o primeiro modelo Bonsai foi baixado mais de 11 milhões de vezes, e seus modelos ainda menores foram baixados mais 2,6 milhões de vezes.
A reivindicação de compressão se baseia em como os pesos são representados. Os pesos são os parâmetros numéricos armazenados que um modelo aprende durante o treinamento, e a PrismML afirma que um peso típico usa 16 bits. Sua abordagem utiliza pesos "ternários" que assumem apenas três valores, "+1, -1 ou 0", reduzindo os requisitos de armazenamento o suficiente para diminuir o tamanho do modelo.
O problema é que a paridade de benchmark não é a mesma coisa que a paridade de tarefa, e a própria formulação da PrismML deixa espaço paradeslizamento. O CEO Babak Hassibi disse que a compressão provavelmente sempre terá algum impacto, mesmo que a lacuna restante seja pequena.
A empresa também aponta para uma segunda variável que muitas vezes é ignorada nas comparações de modelos: o software circundante, ou "o ambiente em que um modelo opera", que, segundo ela, pode afetar materialmente a precisão.
A PrismML está tentando conquistar credibilidade com pessoas e capital tanto quanto com pontuações. A empresa afirma que levantou uma rodada de investimento semente de $22,25 milhões e é apoiada pela Khosla Ventures, Cerberus Capital e Caltech. A PrismML é liderada por Hassibi, um professor do Caltech descrito como um especialista em tecnologias de compressão, e lista Ion Stoica como conselheiro.
A proposta de Stoica é que a inferência local muda a economia e o modelo de privacidade em nível de usuário. "Você terá inteligência ao seu alcance, e será gratuita porque funcionará no dispositivo que você já comprou. Também será privada, porque você não a enviará para a nuvem", disse ele.
Roteiro para Centenas de Bilhões de Parâmetros—e as Questões Abertas
O próximo marco da PrismML é a escala. Hassibi disse que a empresa espera lançar modelos comprimidos "na faixa de várias centenas de bilhões de parâmetros" nos próximos meses, acrescentando: "Os próximos modelos que lançaremos, espero que nos próximos meses, estarão na faixa de várias centenas de bilhões de parâmetros, e espero que seja mais fácil reter a inteligência lá."
Ele também argumentou que modelos maiores podem ser mais fáceis de comprimir sem perder qualidade: "Há mais espaço para poder comprimi-los sem perder a inteligência. Então, eu diria, como uma tendência geral, para modelos maiores, é mais fácil chegar a 100%." A PrismML ainda considera a paridade de benchmark de 100% como incerta, e os próprios comentários da empresa sugerem que alguma degradação pode ser estrutural.
As questões abertas de curto prazo são práticas, não filosóficas. A PrismML não publicou uma lista de hardware suportado ou benchmarks em nível de dispositivo no material aqui, e o ângulo do smartphone permanece "possivelmente" em vez de demonstrado. A replicação independente também é importante porque a verdadeira pegada e desempenho podem depender de escolhas de tempo de execução, detalhes de quantização e o ambiente usado para avaliar tarefas.
Há também rumores de negócios não confirmados. A PrismML está supostamente em negociações com a Apple, mas Hassibi se recusou a comentar, deixando qualquer cronograma de parceria ou integração indefinido.
Minha Opinião: O Progresso da Compressão é Real, mas Benchmarks e Provas de Hardware Decidirão o Comércio
O limiar que importa é se a reivindicação de 5,9 GB se traduz em desempenho repetível em nível de dispositivo em cargas de trabalho reais, não apenas em paridade de benchmark agregado. Uma mudança de 95% para 98% sugere que a PrismML está iterando rapidamente na parte que geralmente quebra os esforços de compressão, que é a retenção de qualidade sob cortes agressivos de tamanho.
Se a PrismML conseguir publicar validação de hardware credível e manter paridade próxima de suas alegações ao avançar para modelos de várias centenas de bilhões de parâmetros, a configuração começa a parecer estrutural em vez de orientada por narrativas: distribuição de borda e inferência com foco em privacidade se tornam o caminho de implantação padrão para uma parte das cargas de trabalho de "raciocínio" que atualmente assumem GPUs em nuvem.
