Les partisans de l'informatique en périphérie et de l'IA sur appareil pourraient être trop optimistes. La problématique clé actuelle réside dans le fait que la mémoire et la bande passante deviennent de véritables goulots d'étranglement pour ces architectures.

Sur le plan technique, les modèles d'IA hors ligne réduisent la latence réseau, mais sont limités par la contrainte de mémoire des appareils locaux, ce qui rend le déploiement de grands modèles difficile. En revanche, le calcul en cloud, bien qu'impliquant des transferts réseau, permet d'accéder à des ressources mémoire suffisantes, ce qui constitue un avantage significatif pour le traitement de tâches complexes.

Le problème de la mémoire ne concerne pas seulement la capacité, mais aussi la vitesse d'accès et la bande passante. Si cette faiblesse infrastructurelle n'est pas surmontée, les avantages théoriques de l'IA en périphérie seront difficiles à exploiter pleinement dans la pratique.