Um LLM de 28,9M parâmetros, rodando em um microcontrolador ESP32 de US$ 8.

O que isso realmente significa:
> o ESP32 é o chip dentro de gadgets IoT baratos, não uma placa de desenvolvimento com GPU
> 28,9M de parâmetros é pequeno pelos padrões de laboratório, mas enorme para uma peça com alguns kilobytes de RAM à disposição
> inferência completa no dispositivo, sem chamada para a nuvem, sem idas e vindas de rede
A Edge AI continua sendo enquadrada como silício caro. Essa é a outra direção. O piso agora é dinheiro de almofada do sofá.