2026-07-15 20:02:20
PrismML、Bonsai 27Bをリリース。iPhone向けに圧縮された最初の27B AIモデル(3.9GB)
PrismMLによると、同社は今週初めに、27B(270億パラメータ)のAIモデルを圧縮して3.9GBにした「Bonsai 27B」をリリースした。iPhone 17 Pro Max上で毎秒11トークンの速度で実行できるほど小型だ。三値(ternary)バリアントは、フル精度ベンチマーク性能の94.6%を維持し、従来の低ビットQwenの構築物(ほぼ2倍の大きさ)を上回っている。これらは数学やコーディングの課題で崩れてしまう。二値(binary)バリアントは、モデルのパラメータを、共有スケーリング係数付きの単一の二値サイン(符号)に量子化することで、重みあたり1.125ビットに到達する。 CNBCによれば、Appleは圧縮技術についてPrismMLと初期段階で協議中だという。PrismMLのCEOであるBabak Hassibiは、同社がオンデバイスでの利用可能性を見据えてこの技術を評価していることを確認した。次は圧縮したGemmaモデルが投入され、その後により大型のフロンティアモデルが続く。1-bit Bonsai 27Bは、Apache 2.0のもとで無料ダウンロード可能だ。