Edge computing và những người ủng hộ on-device AI có thể đã quá lạc quan. Vấn đề then chốt hiện nay là: dung lượng bộ nhớ và băng thông đã trở thành những điểm nghẽn thực sự của các kiến trúc này.

Về mặt kỹ thuật, các mô hình AI ngoại tuyến mặc dù giảm thiểu độ trễ mạng, nhưng bị giới hạn bởi hạn chế bộ nhớ của thiết bị cục bộ, việc triển khai các mô hình lớn gặp nhiều thách thức nghiêm trọng. Ngược lại, tính toán đám mây mặc dù liên quan đến truyền tải mạng, nhưng có thể truy cập vào nguồn tài nguyên bộ nhớ dồi dào, điều này vẫn mang lại lợi thế rõ rệt trong xử lý các nhiệm vụ phức tạp.

Vấn đề bộ nhớ không chỉ là về dung lượng, mà còn liên quan đến tốc độ truy cập và băng thông. Nếu không vượt qua điểm yếu hạ tầng này, lợi thế lý thuyết của AI tại biên sẽ rất khó được phát huy đầy đủ trong thực tế.