Cựu nhà khoa học OpenAI: Khả năng tính toán đã đến giới hạn, ngành công nghiệp AI phải trở lại với cốt lõi nghiên cứu

Cựu Giám đốc Khoa học của OpenAI, hiện là đồng sáng lập viên SSI Ilya Sutskever đã đề cập trong cuộc phỏng vấn gần đây rằng, hiện tại các mô hình AI gần như vô địch trong các bài kiểm tra, đánh giá và cuộc thi, nhưng cuộc sống hàng ngày của hầu hết mọi người vẫn chưa thay đổi hoàn toàn. Ông cho rằng sự chênh lệch giữa “thành tích xuất sắc trong bài kiểm tra đánh giá, nhưng cảm giác bình thường” này xuất phát từ việc ngành công nghiệp trong những năm gần đây quá phụ thuộc vào công thức thành công “tích lũy khả năng tính toán, tích lũy dữ liệu, tích lũy tham số mô hình”. Tuy nhiên, tài liệu ngôn ngữ tự nhiên có thể sử dụng cho việc huấn luyện trước là có giới hạn, con đường này sớm muộn gì cũng sẽ gặp phải ngưỡng. Sự phát triển AI tiếp theo sẽ bước vào một giai đoạn mới, không còn là so sánh ai có nhiều GPU hơn, mà là so sánh ai có thể tìm ra các nguyên lý học tập mới, hiểu được sự tổng quát, và làm cho cách học của AI gần gũi hơn với con người.

Cốt truyện khoa học viễn tưởng đang diễn ra, nhưng cuộc sống thì không có gì thay đổi.

Trong buổi phỏng vấn, người dẫn chương trình đã mô tả sự phát triển của AI hiện tại và bầu không khí của toàn bộ khu vực vịnh San Francisco, hoàn toàn giống như một cốt truyện trong tiểu thuyết khoa học viễn tưởng. Tuy nhiên, mâu thuẫn là, mặc dù quy mô vốn đầu tư vào AI toàn cầu thường lên đến hàng chục tỷ, hàng trăm tỷ USD, thậm chí tổng cộng gần 1% GDP của các quốc gia, cảm nhận trong cuộc sống hàng ngày của người dân lại không thay đổi đáng kể.

Đa số mọi người chỉ thấy các ông lớn công nghệ công bố mở rộng trung tâm dữ liệu hay tiêu tốn bao nhiêu ngân sách để mua GPU trên tin tức, nhưng từ đường phố đến ngõ hẻm, sự thay đổi rõ ràng của AI vẫn còn khá hạn chế.

Sutskever chấp nhận điều này và chỉ ra rằng khả năng của mô hình thực sự mạnh mẽ, nhưng trong môi trường sống quen thuộc của con người, cảm giác không thể ấn tượng như trong phòng thí nghiệm hoặc báo cáo nghiên cứu, sự khác biệt này ngược lại là hiện tượng bình thường.

Đánh giá kiểm tra khả năng siêu mạnh, nhưng hiệu suất thực tế thường gặp sự cố.

Sutskever tiếp tục nói về “hai mặt” của mô hình. Ông cho biết, AI thường có thể thể hiện mức độ vượt trội hơn con người trong các bài kiểm tra chương trình, bài kiểm tra chuẩn hóa hoặc nhiều tiêu chuẩn khác, nhưng một khi được đưa vào nhu cầu thực tế, nó sẽ gặp phải những tình huống hoàn toàn khác. Ông đưa ra ví dụ, nhiều nhà phát triển sẽ nhờ mô hình hỗ trợ sửa lỗi. Mô hình thường rất tự tin chỉ ra vấn đề và đưa ra sửa đổi, nhưng bước tiếp theo lại thường giới thiệu những lỗi mới.

Khi bạn yêu cầu nó sửa lỗi thứ hai một lần nữa, nó có thể đưa lỗi đầu tiên trở lại, tạo thành một vòng lặp giữa hai lỗi. Sutskever cho rằng, mâu thuẫn “siêu phàm trong bài kiểm tra, không ổn định trong thế giới thực” này là một trong những hiện tượng AI đáng để hiểu sâu sắc nhất hiện nay.

Để kiểm tra huấn luyện, dẫn đến mô hình lệch khỏi thế giới thực

Khi phân tích nguyên nhân của sự chênh lệch, Sutskever chỉ ra rằng hiện nay các công ty lớn khi thực hiện học tăng cường thường điều chỉnh hành vi của mô hình dựa trên các bài kiểm tra công khai. Bởi vì chỉ cần thể hiện nổi bật trong đánh giá, họ có thể chiếm ưu thế trong các buổi ra mắt sản phẩm, báo cáo đầu tư và so sánh kỹ thuật. Điều này cũng khiến mô hình trở nên cực kỳ mạnh mẽ trong những kịch bản kiểm tra đó, nhưng khi gặp phải các tình huống thực tế luôn thay đổi, lại không thể thể hiện khả năng tương tự.

Anh ấy sử dụng thi đấu lập trình làm phép so sánh. Một vận động viên nếu vì giành chiến thắng mà rèn luyện 10.000 giờ, chắc chắn có thể đạt được thành tích ấn tượng trong cuộc thi. Một người khác chỉ luyện tập 100 giờ, nhưng bẩm sinh có cách hiểu vấn đề nào đó, sự nghiệp lâu dài lại có thể linh hoạt ứng phó hơn. Mô hình hiện tại giống như người trước:

「Được đào tạo cao độ, rất mạnh trong các nhiệm vụ cố định, nhưng thiếu khả năng tổng quát sâu sắc theo kiểu con người。」

Cơn sốt mở rộng mô hình lan rộng, không gian nghiên cứu bị thu hẹp đáng kể

Sutskever hồi tưởng, từ năm 2012 đến 2020 có thể nói là “thời kỳ vàng nghiên cứu” của AI, các lĩnh vực tích cực khám phá các cấu trúc và phương pháp khác nhau, nhiều đột phá đến từ các ý tưởng mới mẻ. Tuy nhiên, sự thành công của GPT-3 và định luật mở rộng mô hình đã thay đổi hoàn toàn hướng đi. Kể từ đó, toàn ngành dần hình thành sự đồng thuận:

「Bắt mô hình phóng đại, dữ liệu trở nên nhiều hơn, khả năng tính toán tăng lên, năng lực tự nhiên sẽ tăng lên.」

Con đường theo công thức này trở thành xu hướng chính trong thị trường đầu tư và các công ty lớn vì rủi ro thấp và kết quả có thể dự đoán được. Nhưng cũng chính vì mọi người đều áp dụng cùng một chiến lược, không gian nghiên cứu thực sự lại bị thu hẹp.

Dữ liệu tự nhiên có hạn, việc tiền huấn luyện cuối cùng sẽ gặp trở ngại.

Sutskever nhấn mạnh, tài liệu tự nhiên trên mạng là có hạn, việc đào tạo các mô hình ngôn ngữ lớn dựa vào những văn bản này. Sau nhiều năm mở rộng, các công ty đã gần như sử dụng hết tất cả tài liệu có sẵn. Khi lượng dữ liệu không thể tăng gấp đôi nữa, việc chỉ dựa vào việc mở rộng mô hình và khả năng tính toán để cải thiện hiệu suất sẽ rõ ràng chậm lại.

Ông ấy cho rằng điều này đại diện cho việc AI sắp bước vào giai đoạn tiếp theo, không chỉ đơn thuần là theo đuổi mô hình lớn hơn, mà còn là cần hiểu lại cách con người học, cách tổng quát hình thành, liệu mô hình có thể tự sửa chữa với ít mẫu hơn hay không, và trong quá trình học, liệu có thể có khả năng đánh giá giữa chừng như con người, thay vì chỉ dựa vào phản hồi cuối cùng để quyết định hướng đi hành vi.

Những vấn đề này về bản chất không thể giải quyết chỉ bằng số lượng GPU, mà cần phải có nghiên cứu khoa học thực sự.

(Ghi chú: Huấn luyện trước Pre-Training, có nghĩa là cho mô hình đọc một lượng lớn văn bản trên mạng, từ đó học được cấu trúc ngôn ngữ và kiến thức cơ bản, hình thành nền tảng cho khả năng tiếp theo. Các mô hình lớn chủ yếu đều lấy huấn luyện trước làm giai đoạn đầu tiên. )

Học tăng cường dẫn đến khả năng tính toán bùng nổ, hiệu suất lại không như mong đợi.

Sutskever cũng đề cập rằng, trong những năm gần đây, quy mô đào tạo tăng cường học tập của nhiều công ty (RL) thậm chí còn vượt qua giai đoạn tiền huấn luyện. Những suy diễn dài này tiêu tốn một lượng lớn Khả năng tính toán, nhưng mỗi lần suy diễn mang lại hiệu quả học tập thực sự lại có giới hạn, làm giảm hiệu suất tổng thể. Nếu tiếp tục phụ thuộc vào cùng một phương pháp đào tạo, chỉ có thể đầu tư nhiều tài nguyên hơn, nhưng khó mà vượt qua giới hạn bản chất của mô hình.

Vì vậy, ông cho rằng ngành công nghiệp AI đang dần trở lại giai đoạn nghiên cứu “tìm kiếm phương pháp mới”, trọng tâm không còn là ai sở hữu máy chủ lớn nhất, mà là ai có thể tìm ra các nguyên tắc học tập mới.

(Ghi chú: Học củng cố, có nghĩa là cho phép mô hình phát triển thông qua phương pháp huấn luyện thử và sai, mô hình sẽ nhận được phản hồi hoặc thưởng sau khi hoàn thành nhiệm vụ, và điều chỉnh hành vi dựa trên đó. )

Tập trung vào việc hiểu và học, hãy nói về mô hình kinh doanh sau.

Sutskever cho biết, chiến lược của SSI là tập trung vào nghiên cứu, đặc biệt là hiểu về khả năng tổng quát, cách học giống như con người, và cách mà mô hình có thể tự cải thiện với một lượng minh họa nhỏ. Ông cho rằng thay vì vội vàng trả lời các mô hình kinh doanh, tốt hơn là nên tập trung vào việc tìm ra cấu trúc học tập cơ bản hơn so với việc tiền huấn luyện, một khi có đột phá, các ứng dụng kinh doanh sẽ lần lượt xuất hiện.

Ông ước tính, trong vòng 5 đến 20 năm tới, có khả năng phát triển một AI có “hiệu quả học tập tương đương con người”. Và một khi máy móc có thể nhanh chóng nắm bắt kỹ năng mới giống như con người, kết hợp với việc triển khai quy mô lớn, khả năng tổng thể sẽ có sự tăng trưởng nhảy vọt, gần đạt đến trí tuệ siêu việt.

Đánh giá và khoảng cách thực dụng sẽ biến mất khi xuất hiện các phương pháp học tập mới.

Sutskever cuối cùng cho biết, lý do cuộc cách mạng AI hiện tại không có vẻ quá mạnh mẽ là vì vẫn còn sự khác biệt rõ rệt giữa khả năng của mô hình và cách sử dụng. Khi mô hình tiến hóa từ việc thi cử sang việc học, có khả năng tự sửa chữa, tiếp tục tổng quát hóa và phát triển ổn định, AI sẽ tái định hình cuộc sống toàn cầu với tốc độ rất nhanh.

Đến lúc đó, mọi người sẽ không chỉ thấy những khoản đầu tư khổng lồ trên tin tức, mà còn có thể thực sự cảm nhận được sự thay đổi trong cuộc sống hàng ngày.

Bài viết này Cựu nhà khoa học OpenAI: Khả năng tính toán đã đến giới hạn, ngành công nghiệp AI phải trở lại cốt lõi nghiên cứu Xuất hiện lần đầu trên Tin tức chuỗi ABMedia.