Mantan ilmuwan OpenAI: Daya Komputasi telah mencapai batas, industri AI harus kembali ke inti penelitian

Mantan Kepala Ilmuwan OpenAI, dan co-founder SSI saat ini, Ilya Sutskever, dalam wawancara terbaru membahas bahwa model AI saat ini hampir tidak tertandingi dalam berbagai tes, evaluasi, dan kompetisi, tetapi kehidupan sehari-hari sebagian besar orang tidak mengalami perubahan yang mendalam. Ia berpendapat bahwa kesenjangan antara “superior dalam evaluasi dan biasa dalam pengalaman” ini berasal dari ketergantungan industri dalam beberapa tahun terakhir pada formula sukses “menumpuk daya komputasi, menumpuk data, menumpuk parameter model”. Namun, korpus bahasa alami yang dapat digunakan untuk pra-pelatihan itu sendiri terbatas, sehingga jalur ini pada akhirnya akan menghadapi batasan. Perkembangan AI selanjutnya akan memasuki fase baru, bukan lagi tentang siapa yang memiliki lebih banyak GPU, tetapi tentang siapa yang dapat menemukan prinsip pembelajaran baru, memahami generalisasi, dan membuat cara belajar AI lebih mendekati manusia.

Plot sci-fi sedang terjadi, tetapi kehidupan tidak banyak berubah.

Dalam pembukaan wawancara, pembawa acara menggambarkan perkembangan AI saat ini dan suasana seluruh wilayah Teluk San Francisco, yang benar-benar seperti alur cerita novel sci-fi. Namun yang menjadi kontradiksi adalah, meskipun dana AI yang diinvestasikan secara global mudah-mudahan mencapai puluhan miliar, ratusan miliar dolar, bahkan mendekati 1% dari GDP setiap negara, pengalaman hidup sehari-hari masyarakat umum tidak berubah secara drastis.

Kebanyakan orang hanya melihat pengumuman dari raksasa teknologi tentang perluasan pusat data atau berapa banyak anggaran yang dihabiskan untuk membeli GPU di berita, tetapi dari jalanan hingga sudut-sudut, perubahan AI yang dapat terlihat dengan jelas masih cukup terbatas.

Sutskever menerima pernyataan ini dan menunjukkan bahwa kemampuan model memang kuat, tetapi dalam lingkungan kehidupan yang familiar bagi orang, pengalaman tidak akan sekuat yang ada di laboratorium atau laporan penelitian, dan perbedaan ini justru merupakan fenomena yang normal.

Kemampuan evaluasi dan pengujian sangat kuat, tetapi kinerja praktis sering kali bermasalah.

Sutskever kemudian membahas tentang “dua sisi” dari model. Ia menyatakan bahwa AI sering kali dapat menunjukkan tingkat yang melampaui manusia dalam evaluasi program, tes standar, atau berbagai jenis benchmark, namun ketika dihadapkan pada kebutuhan nyata, situasinya bisa sangat berbeda. Ia memberi contoh bahwa banyak pengembang meminta model untuk membantu memperbaiki bug. Model sering kali dengan sangat percaya diri menunjukkan masalah dan memberikan perbaikan, tetapi langkah berikutnya sering kali malah memperkenalkan kesalahan baru.

Ketika Anda memintanya untuk memperbaiki kesalahan kedua, mungkin saja kesalahan pertama kembali muncul, menciptakan siklus antara dua kesalahan. Sutskever percaya bahwa kontradiksi “super canggih dalam pengujian, tidak stabil di dunia nyata” adalah salah satu fenomena AI yang paling layak untuk dipahami lebih dalam saat ini.

Untuk menguji pelatihan, menyebabkan model menyimpang dari dunia nyata

Dalam menganalisis penyebab kesenjangan, Sutskever menunjukkan bahwa saat ini banyak perusahaan yang melakukan pembelajaran penguatan sering kali menyesuaikan perilaku model terhadap proyek evaluasi publik. Karena selama tampil menonjol dalam evaluasi, mereka dapat memiliki keunggulan dalam konferensi peluncuran, presentasi investasi, dan perbandingan teknis. Ini juga membuat model menjadi sangat kuat dalam skenario pengujian tersebut, tetapi ketika menghadapi situasi nyata yang berubah-ubah, mereka justru tidak dapat menunjukkan kemampuan yang sama.

Ia menggunakan kompetisi pemrograman sebagai analogi. Seorang peserta yang berlatih keras selama 10.000 jam untuk meraih juara pasti dapat mencapai hasil yang mengejutkan dalam kompetisi. Peserta lain yang hanya berlatih 100 jam, tetapi secara alami memiliki cara pemahaman terhadap masalah, mungkin lebih mampu beradaptasi dalam karier jangka panjang. Model saat ini seperti yang pertama:

“Dilatih secara tinggi, sangat kuat dalam tugas tertentu, tetapi kurang memiliki kemampuan generalisasi mendalam yang mirip manusia.”

Tren ekspansi model sedang populer, ruang penelitian sangat terkompresi.

Sutskever ingat bahwa 2012 hingga 2020 dapat digambarkan sebagai “zaman keemasan penelitian” untuk AI, dengan arsitektur dan pendekatan yang berbeda yang dieksplorasi secara aktif, dan banyak terobosan datang dari berbagai ide baru. Namun, keberhasilan GPT-3 dan hukum ekspansi model benar-benar mengubah angin. Sejak itu, seluruh industri secara bertahap membentuk konsensus:

“Perbesar model, tambahkan data, tingkatkan Daya Komputasi, kemampuan akan meningkat secara alami.”

Jalur yang mengikuti formula ini menjadi arus utama di pasar investasi dan perusahaan-perusahaan besar karena risikonya rendah dan hasilnya dapat diprediksi. Namun, karena semua orang menggunakan strategi yang sama, ruang penelitian yang sebenarnya malah tertekan.

Data alami terbatas, pra-pelatihan pada akhirnya akan menemui jalan buntu

Sutskever menekankan bahwa korpus bahasa alami di internet adalah terbatas, dan pelatihan model bahasa besar bergantung pada teks-teks ini. Setelah bertahun-tahun berkembang, berbagai perusahaan telah mendekati penggunaan semua korpus yang tersedia “hingga penuh”. Ketika jumlah data tidak bisa lagi berlipat ganda, peningkatan kinerja yang hanya bergantung pada perbesaran model dan Daya Komputasi akan melambat secara signifikan.

Dia percaya ini menunjukkan bahwa AI akan memasuki tahap berikutnya, tidak lagi hanya mengejar model yang lebih besar, tetapi harus memahami kembali bagaimana manusia belajar, bagaimana generalisasi terbentuk, apakah model dapat memperbaiki diri dengan lebih sedikit sampel, dan apakah dalam proses pembelajaran bisa memiliki kemampuan evaluasi di tengah jalan seperti manusia, bukan hanya bergantung pada umpan balik akhir untuk menentukan arah perilaku.

Masalah ini pada dasarnya bukan sesuatu yang dapat diselesaikan hanya dengan jumlah GPU, melainkan memerlukan penelitian ilmiah yang nyata.

(Catatan: Pre-Training, yang berarti membiarkan model membaca banyak teks dari internet, untuk mempelajari struktur bahasa dan pengetahuan dasar, membentuk dasar kemampuan berikutnya. Model besar yang mainstream menggunakan pre-training sebagai tahap pertama. )

Pembelajaran penguatan menyebabkan ledakan Daya Komputasi, efisiensi justru tidak sebaik yang dibayangkan.

Sutskever juga menyebutkan bahwa dalam beberapa tahun terakhir, banyak perusahaan yang pelatihan pembelajaran penguatan (RL) memiliki skala yang bahkan melebihi pra-pelatihan. Deret panjang dari inferensi ini menghabiskan banyak Daya Komputasi, tetapi setiap inferensi yang dilakukan menghasilkan pembelajaran yang efektif sebenarnya terbatas, sehingga menurunkan efisiensi keseluruhan. Jika terus bergantung pada metode pelatihan yang sama, hanya akan menginvestasikan lebih banyak sumber daya, tetapi sulit untuk melewati batasan esensi model.

Oleh karena itu, ia percaya bahwa industri AI secara bertahap kembali ke tahap penelitian “mencari metode baru”, di mana fokusnya bukan lagi pada siapa yang memiliki pusat data terbesar, tetapi pada siapa yang dapat menemukan prinsip pembelajaran yang baru.

(Catatan: Pembelajaran Penguatan, yang berarti memungkinkan model untuk tumbuh melalui metode pelatihan coba-coba, model akan menerima umpan balik atau hadiah setelah menyelesaikan tugas, dan akan menyesuaikan perilakunya berdasarkan hal tersebut.)

Fokus pada pemahaman dan pembelajaran, model bisnis akan dibahas kemudian.

Sutskever menyatakan bahwa strategi SSI adalah memfokuskan perhatian pada penelitian, terutama dalam memahami generalisasi, cara belajar manusia, dan bagaimana model dapat meningkatkan diri dengan sedikit contoh. Dia percaya bahwa alih-alih terburu-buru menjawab model bisnis, lebih baik fokus pada menemukan struktur pembelajaran yang lebih mendasar daripada pra-pelatihan, dan setelah ada terobosan, berbagai aplikasi bisnis akan muncul satu per satu.

Dia memperkirakan bahwa dalam 5 hingga 20 tahun ke depan, ada peluang untuk menciptakan AI dengan “efisiensi belajar yang sebanding dengan manusia”. Begitu mesin dapat menguasai keterampilan baru dengan cepat seperti manusia, ditambah dengan penerapan skala besar, kemampuan keseluruhan akan menunjukkan pertumbuhan yang melompat, mendekati kecerdasan super.

Perbedaan antara penilaian dan kegunaan akan menghilang seiring dengan munculnya cara belajar baru.

Sutskever akhirnya menyatakan bahwa revolusi AI saat ini tampak tidak dramatis karena masih ada kesenjangan yang jelas antara kemampuan model dan cara penggunaannya. Ketika model berevolusi dari yang dapat mengikuti ujian menjadi yang dapat belajar, memperbaiki diri, terus menerus menggeneralisasi, dan tumbuh stabil, AI akan dengan cepat merombak kehidupan global.

Pada saat itu, orang-orang tidak hanya akan melihat investasi besar di berita, tetapi juga dapat merasakan perubahan dalam kehidupan sehari-hari.

Artikel ini oleh mantan ilmuwan OpenAI: Daya Komputasi telah mencapai batas, industri AI harus kembali ke inti penelitian. Pertama kali muncul di Berita Blockchain ABMedia.