Önceki OpenAI bilim insanı: Bilgi İşlem Gücü yığılması en üst noktaya ulaştı, AI endüstrisi araştırma merkezine geri dönmek zorunda.

Eski OpenAI Baş Bilimcisi ve şu anda SSI'nin kurucu ortaklarından biri olan Ilya Sutskever, son röportajında, mevcut AI modellerinin çeşitli test, değerlendirme ve yarışmalardaki performansının neredeyse rakipsiz olduğunu ancak çoğu insanın günlük yaşamının tamamen değişmediğini belirtti. Bu “değerlendirme testlerinde süper, deneyim olarak sıradan” farkının, endüstrinin son yıllarda “Bilgi İşlem Gücü, veri ve model parametreleri yığma” gibi başarılara aşırı derecede bağımlı olmasından kaynaklandığını düşünüyor. Ancak, ön eğitim için kullanılabilir doğal dil verisinin kendisi sınırlıdır; bu yol sonunda bir darboğaza ulaşacaktır. Gelecek AI gelişimi yeni bir aşamaya girecek; artık kimin daha fazla GPU'su olduğuna değil, kimin yeni öğrenme ilkeleri bulabileceğine, genelleştirmeyi anlayabileceğine ve AI'nın öğrenme yöntemlerini insanlara daha yakın hale getirebileceğine bakılacaktır.

Bilim kurgu olayları gerçekleşiyor, ama hayat pek değişmiyor.

Röportajın başında, sunucu mevcut AI gelişimini ve San Francisco Körfezi'nin atmosferini tamamen bilim kurgu romanı gibi tanımladı. Ancak çelişkili bir şekilde, dünya genelinde AI'ye yatırılan fonlar yüz milyarlarca, hatta trilyonlarca dolara ulaşıp, ülkelerin GSYİH'sının %1'ine yaklaşmasına rağmen, genel halkın günlük yaşam deneyimi bu nedenle köklü bir değişim geçirmiyor.

Çoğu insan, teknoloji devlerinin veri merkezlerini yeniden inşa ettiklerini veya GPU satın almak için ne kadar bütçe harcadıklarını haberlerde görmekle yetiniyor, ancak sokaklardan köşelere kadar, belirgin bir şekilde algılanan AI değişiklikleri hala oldukça sınırlı.

Sutskever bu görüşü kabul etti ve modelin yeteneklerinin gerçekten güçlü olduğunu, ancak insanların aşina olduğu yaşam ortamlarında, algının laboratuvar veya araştırma raporlarındaki kadar çarpıcı olmayacağını, bu tür bir farkın normal bir durum olduğunu belirtti.

Değerlendirme test yeteneği çok güçlü, pratik performansı ise sık sık sorunlar yaşıyor.

Sutskever, modelin “çift yönlülüğü” hakkında konuşmaya devam etti. AI'nın program değerlendirmeleri, standart testler veya çeşitli karşılaştırmalarda genellikle insan seviyesini aşan bir performans sergilediğini belirtti, ancak gerçek ihtiyaçlara uygulandığında tamamen farklı bir durumla karşılaşıldığını ifade etti. Örneğin, birçok geliştirici modelden hata ayıklamada yardım alıyor. Model genellikle sorunu kendinden emin bir şekilde belirleyip bir düzeltme öneriyor, ancak sonraki adım genellikle yeni hatalar getiriyor.

İkinci hatayı düzeltmesini tekrar istediğinizde, ilk hatayı geri getirebilir ve iki hata arasında bir döngü oluşturabilir. Sutskever, bu “değerlendirmelerde süper, gerçek dünyada istikrarsız” çelişkisinin, şu anda derinlemesine anlaşılması gereken AI fenomenlerinden biri olduğunu düşünüyor.

Eğitim testi için, modelin gerçek dünyadan sapmasına neden oldu.

Düşük performans nedenlerini analiz ederken, Sutskever, şu anda büyük şirketlerin pek çok kez güçlendirilmiş öğrenme yaparken, genellikle kamuya açık değerlendirme projelerine göre model davranışlarını ayarladıklarını belirtti. Çünkü değerlendirmede iyi performans gösterdikleri sürece, lansmanlarda, yatırım sunumlarında ve teknik karşılaştırmalarda avantaj elde edebiliyorlar. Bu da modellerin o test senaryolarında son derece güçlü hale gelmesine neden oluyor, ancak değişken gerçek koşullarla karşılaştıklarında aynı yetenekleri sergileyemiyorlar.

O, programlama yarışmalarını bir benzetme olarak kullanıyor. Bir yarışmacı, şampiyonluğu kazanmak için 10.000 saat boyunca sıkı çalışırsa, yarışmada etkileyici sonuçlar elde edebilir. Diğer bir yarışmacı sadece 100 saat çalıştı, ancak doğuştan belirli bir sorun anlama yeteneğine sahipse, uzun vadeli kariyeri daha esnek bir şekilde yanıt verebilir. Model şu anda ilkine benziyor:

“Yüksek eğitimli, belirli görevlerde son derece güçlü, ancak insan benzeri derin genelleme yeteneğinden yoksun.”

Model genişletme akımı yaygın, araştırma alanı büyük ölçüde daralmış durumda.

Sutskever'in geri dönüşü, 2012'den 2020'ye kadar yapay zekanın “araştırma altın çağı” olarak adlandırılabileceğini belirtiyor. Herkes farklı yapılar ve yöntemler keşfetmek için aktif bir şekilde çalıştı, birçok atılım çeşitli yenilikçi fikirlerden geldi. Ancak GPT-3 ve model genişleme yasasının başarısı yönü tamamen değiştirdi. O zamandan beri, tüm endüstri bir tür uzlaşma oluşturmaya başladı:

“Modeli büyütün, verileri artırın, bilgi işlem gücünü ekleyin, yetenek doğal olarak yükselecektir.”

Bu formüle dayalı yaklaşım, düşük risk ve öngörülebilir sonuçlar sunduğu için yatırım piyasası ve büyük şirketler arasında ana akım haline geldi. Ancak herkes aynı stratejiyi benimsediği için gerçek araştırma alanı daralmıştır.

Doğal veriler sınırlıdır, önceden eğitim nihayetinde bir engelle karşılaşacaktır.

Sutskever, çevrimiçi doğal verilerin sınırlı olduğunu vurguladı; büyük dil modellerinin eğitimi bu metinlere dayanıyor. Yıllar süren genişlemenin ardından, şirketler mevcut tüm verileri “tam olarak kullanmaya” yaklaşmış durumda. Veri miktarı artık iki katına çıkamayınca, yalnızca modeli büyütmek ve Bilgi İşlem Gücü ile sağlanan performans artışı belirgin şekilde yavaşlayacak.

O, bunun AI'nın bir sonraki aşamaya girmek üzere olduğunun bir işareti olduğunu düşünüyor; artık yalnızca modellerin daha büyük olmasını sağlamakla kalmayacak, aynı zamanda insanların nasıl öğrendiğini, genelleştirmenin nasıl oluştuğunu, modellerin daha az örnekle kendilerini düzeltebilir mi olduğunu ve öğrenme sürecinde insanların yaptığı gibi ara değerlendirmelere sahip olma yeteneğine sahip olup olmadığını yeniden anlaması gerekecek. Son geri bildirimlere dayanarak davranış yönünü belirlemek yerine.

Bu sorunlar esasen GPU sayısının çözebileceği sorunlar değil, gerçek bilimsel araştırma gerektiriyor.

(Not: Ön Eğitim, modelin önce büyük miktarda çevrimiçi metni okumasını, dil yapısını ve temel bilgileri öğrenmesini, ardından sonraki yeteneklerin temelini oluşturmasını ifade eder. Ana akım büyük modeller, ön eğitimi ilk aşama olarak alır. )

Güçlendirilmiş öğrenme bilgi işlem gücünde patlamaya neden oldu, verimlilik ise hayal edildiği kadar iyi değil.

Sutskever, son yıllarda birçok şirketin güçlendirilmiş öğrenme (RL) eğitim ölçeklerinin ön eğitimden bile fazla olduğunu belirtti. Bu uzun dizilerin çıkarımı büyük miktarda Bilgi İşlem Gücü tüketiyor, ancak her çıkarımın sağladığı etkili öğrenme aslında sınırlı ve bu da genel verimliliği düşürüyor. Aynı eğitim yöntemine sürekli olarak dayanmak, sadece daha fazla kaynak harcamaya neden olur, ancak modelin doğasının sınırlarını aşmak zorlaşır.

Bu nedenle, AI endüstrisinin yavaş yavaş “yeni yöntemler arayışına” geri döndüğünü düşünüyor. Artık en büyük veri merkezine sahip olan kim olduğu değil, yeni öğrenme ilkelerini bulabilen kim olduğu önemlidir.

(Not: Pekiştirmeli Öğrenme, modelin deneme-yanılma yoluyla gelişmesini sağlamak için bir eğitim yöntemidir. Model, bir görevi tamamladıktan sonra geri bildirim veya ödül alır ve buna göre davranışını ayarlar. )

Önce öğrenmeyi anlamaya odaklan, iş modeli sonra konuşulur.

Sutskever, SSI'nin stratejisinin araştırmaya odaklanmak olduğunu, özellikle genelleme, insan benzeri öğrenme yöntemlerini anlama ve modellerin az sayıda örnekle kendini geliştirmesi üzerine olduğunu belirtti. Ticari modele acilen cevap vermek yerine, önceden eğitimden daha temel bir öğrenme yapısı bulmaya odaklanmanın daha iyi olduğunu düşünüyor. Bir atılım sağlandığında, çeşitli ticari uygulamalar birbiri ardına ortaya çıkacaktır.

Gelecekte 5 ila 20 yıl içinde, “öğrenme verimliliği insanlarla karşılaştırılabilir” bir AI geliştirme fırsatının olduğunu tahmin ediyor. Bir kez makineler insan gibi yeni becerileri hızla öğrenebildiğinde, büyük ölçekli dağıtım ile birlikte, genel yetenekleri sıçrama büyümesi gösterecek ve süper zeka seviyesine yaklaşacaktır.

Değerlendirme ve pratik arasındaki fark, yeni öğrenme yöntemleri ortaya çıktıkça ortadan kalkacaktır.

Sutskever en son, şu anda AI devriminin bu kadar dramatik görünmemesinin sebebinin, model yetenekleri ile kullanım şekilleri arasında hala belirgin bir kopma olduğunu belirtti. Model, sınav yapabilmekten öğrenebilme yeteneğine, kendini düzeltebilme, sürekli genelleme yapabilme ve istikrarlı bir şekilde büyüyebilme aşamasına geçtiğinde, AI küresel yaşamı çok hızlı bir şekilde yeniden şekillendirecektir.

O zamana geldiğinde, insanlar sadece haberlerde büyük yatırımlar görmekle kalmayacak, aynı zamanda günlük yaşamlarında gerçek değişimi hissedebilecekler.

Bu makale Önceki OpenAI bilim insanı: İşlem gücü sınırlarına ulaştı, AI endüstrisinin araştırma çekirdeğine geri dönmesi gerekiyor. İlk olarak Chain News ABMedia'da yayımlandı.