Поддержка edge computing и on-device AI может быть излишне оптимистичной. Текущая ключевая проблема заключается в том, что память и пропускная способность становятся настоящими узкими местами этих архитектур.

С технической точки зрения, офлайн-модели AI, хотя и снижают задержки сети, ограничены объемом памяти локальных устройств, что создает серьезные трудности при развертывании больших моделей. В то же время, облачные вычисления, несмотря на необходимость передачи данных по сети, имеют доступ к достаточным ресурсам памяти, что дает значительное преимущество при выполнении сложных задач.

Проблема памяти — это не только объем, но и скорость доступа и пропускная способность. Если этот недостаток инфраструктуры не будет преодолен, теоретические преимущества edge AI в реальных приложениях в полной мере реализовать будет трудно.