Sınıra ulaşan şirketler daha akıllı yapay zekalar için yeni bir yol arıyor

Son yıllarda yapay zeka (AI) alanında kıymetli adımlar atan OpenAI ve diğer teknoloji şirketleri, büyük lisan modelleri oluşturmanın beklenmedik zorluklarına tahlil bulmak için yeni yollar arıyor. AI araştırmacıları ve yatırımcılar, algoritmaların “insansı düşünme” metotlarıyla eğitilmesi üzerinde duruyor ve bu yeni tekniklerin dalda esaslı değişikliklere yol açabileceğine inanıyor.

o1’deki formül kullanılacak

OpenAI’ın en son duyurduğu “o1” isimli model, klasik büyük lisan modellerinden farklı olarak meseleleri insan gibisi bir mantıkla çözme yeteneğine sahip. Bu model, standart eğitim sürecinin yanı sıra, uzmanlardan alınan geri bildirimler ve bilgi ile şekillendirilen yeni bir yaklaşımı temel alıyor. o1, AI’nin daha insansı ve çok adımlı bir niyet süreci yürütebilmesine imkan tanıyor.

OpenAI’ın bu yeni modeli, eğitilmiş büyük lisan modellerine ek olarak, modellerin çıkarım etabında (inference) daha fazla süreç gücü kullanabilmesine imkan sağlayan “test-time compute” tekniğini uyguluyor. Bu teknik, modelin karmaşık matematiksel sorunlar yahut kodlama üzere vazifelerde daha aktif performans göstermesini sağlıyor. Örneğin, bir model çabucak tek bir karşılık seçmek yerine, gerçek vakitli olarak birden fazla mümkünlük üretip kıymetlendirebilir ve sonuçta ileriye dönük en düzgün yolu seçebilir. 

OpenAI’da o1 üzerinde çalışan araştırmacı Noam Brown, bir modeli 100 bin kat büyütmek ve 100 bin kat daha fazla eğitmek yerine yalnızca “birkaç saniye düşünmesini” sağlamanın daha uygun olduğunu söylüyor. Bu arada  Anthropic, xAI ve Google DeepMind üzere öteki üst seviye yapay zeka laboratuvarlarındaki araştırmacılar da bu tekniğin kendi versiyonlarını geliştirmek için çalışıyorlar. 

2010’ların AI dünyasında “daha fazla bilgi ve daha fazla hesaplama gücüyle” büyük gelişmeler elde edildiği düşünülüyordu. Fakat bu yıl şirketten ayrılarak SSI’ı kuran eski OpenAI kurucularından Ilya Sutskever, artık sırf data ve süreç gücünü artırarak elde edilen sonuçların hududuna ulaştıklarını belirtiyor: “2010’lar ölçeklendirme çağıydı, artık yine merak ve keşif çağındayız. Herkes bir sonraki şeyi arıyor. Yanlışsız şeyi ölçeklendirmek artık her zamankinden daha önemli.”

“Daha büyük daha iyidi” ideolojisine alternatif yaklaşımlar

Bu bağlamda, data ve güç kaynaklarının tüketiminde yaşanan meşakkatler, AI firmalarını daha verimli ve insansı yollar geliştirmeye yönlendiriyor. Günümüz AI modelleri, mevcut dataların büyük bir kısmını aslında tüketmiş durumda ve artan güç maliyetleri nedeniyle eğitim süreçlerinde aksaklıklar yaşanabiliyor. Bu nedenle OpenAI ve öteki öncü laboratuvarlar, daha gelişmiş modeller yaratmak için alternatif prosedürlere yöneliyor.

Bu gelişmeler, AI modellerinin çalıştırılma sürecinde daha düşük maliyetli ve daha verimli donanımlara olan talebi artırıyor. Şimdiye kadar hem eğitim hem de çıkarımda Nvidia’nın değerli GPU’ları kullanıldı. Fakat burada değişimin ayak sesleri duyulmaya başlanıyor. Firmalar, çıkarım süreçlerinde daha düşük maliyetli donanımlara daha fazla muhtaçlık duymaya başlıyor.  Sequoia Capital’in ortaklarından Sonya Huang Reuters’a verdiği demeçte, “Bu değişim bizi devasa ön eğitim kümeleri dünyasından, çıkarım için dağıtılmış, bulut tabanlı sunucular olan çıkarım bulutlarına taşıyacak” diyor.

Sonuç olarak yeni yaklaşımlar, AI geliştirme sürecinde daha karmaşık lakin daha insan gibisi düşünme yeteneklerine sahip modeller oluşturmayı amaçlıyor. OpenAI eser müdürü Kevin Weil, geçtiğimi ay, “Bu modelleri çok süratli bir formda daha âlâ hale getirmek için koparabileceğimiz çok sayıda kolay ulaşılabilir meyve görüyoruz. Beşerler bize yetişene kadar, biz üç adım daha önde olmaya çalışacağız.” dedi.