Un LLM de 28,9 millones de parámetros, ejecutándose en un microcontrolador ESP32 de 8 dólares.


Lo que eso significa realmente:
> el ESP32 es el chip dentro de gadgets IoT baratos, no una placa de desarrollo con una GPU
> 28,9M de parámetros es pequeño según los estándares de laboratorio, pero enorme para una pieza que tiene kilobytes de RAM de sobra
> inferencia completa en el dispositivo, sin llamadas a la nube, sin ida y vuelta de red
La IA en el borde sigue presentándose como silicio caro. Esta es la dirección contraria. El suelo ahora es dinero de cojín de sofá.
Ver original
post-image
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado