Sebuah LLM berparameter 28,9 juta, berjalan di mikrokontroler ESP32 seharga $8.



Apa artinya sebenarnya:
> ESP32 adalah chip di dalam perangkat IoT murah, bukan papan pengembangan dengan GPU
> 28,9 juta parameter itu kecil menurut standar lab, tapi besar untuk komponen yang punya beberapa kilobyte RAM yang bisa dipakai
> inferensi penuh langsung di perangkat, tanpa panggilan cloud, tanpa bolak-balik jaringan
Edge AI terus dibingkai sebagai silikon mahal. Ini arahnya yang lain. Lantainya sekarang setara uang bantal sofa.
Lihat Asli
post-image
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Disematkan