$8のESP32マイクロコントローラ上で動作する、28.9MパラメータのLLM。

それが実際に意味すること：
> ESP32はGPUを搭載した開発ボードではなく、安価なIoTガジェットの中に入っているチップ
> 28.9Mパラメータは研究室の基準では小さいが、数キロバイトのRAMに余裕がある部品としてはとてつもなく大きい
> オンデバイスで推論を完結し、クラウド呼び出しもなく、ネットワークの往復もない

エッジAIは「高価なシリコン」として語られ続けています。これはその逆の方向性です。今の土台は、ソファのクッションのようなお金です。