Підтримувачі edge computing та on-device AI можуть бути надмірно оптимістичними. Поточна ключова проблема полягає в тому, що обсяг пам’яті та пропускна здатність стають справжніми вузькими місцями цих архітектур.

З технічної точки зору, офлайн AI-моделі хоча й знижують затримку мережі, але через обмеження пам’яті локальних пристроїв, розгортання великих моделей стикається з серйозними викликами. У порівнянні з цим, хмарні обчислення, хоча й пов’язані з мережею, мають доступ до достатніх ресурсів пам’яті, що все ще дає їм значну перевагу у складних завданнях.

Проблема пам’яті полягає не лише у її обсязі, а й у швидкості доступу та пропускній здатності. Якщо цей інфраструктурний недолік не подолати, теоретична перевага edge AI у практичному застосуванні буде важко повністю реалізувати.