Anthropic yapay zekâ Ar-Ge hızı neyi gösteriyor?
Yapay zekânın yalnızca son kullanıcı işlerini değil, daha güçlü yapay zekâ sistemlerinin geliştirilmesini de hızlandırıp hızlandırmadığı, alanın en kritik ölçüm sorularından biri. Yapay zekâ güvenliği araştırma kuruluşu METR’nin Anthropic’te yaptığı inceleme, bu soruya şirket içi çalışma verileri üzerinden kısmi bir yanıt sunuyor. İncelemeye göre Anthropic’in modellerindeki ilerleme hızı, yaklaşık bir yıl öncesine kıyasla kabaca iki katına çıktı; kıyaslama sonuçları da son bir yılda yaklaşık iki yıllık tarihsel ilerleme kaydedildiğine işaret ediyor.
METR, bu hızlanmanın yalnızca model eğitiminde kullanılan hesaplama gücünün artırılmasıyla açıklanamayacağı konusunda kendine güven duyduğunu belirtiyor. Araştırmacıların değerlendirmesine göre ek hızın büyük bölümü, ekim itibarıyla yapay zekâ kullanımından kaynaklanıyordu ve bu katkı zaman içinde büyüyordu. Bu, bir laboratuvarın araştırma ve geliştirme sürecinde AI araçlarından ne ölçüde verim aldığına dair nadir kamuya açık değerlendirmelerden biri niteliğinde.
Bununla birlikte bulgu, yapay zekânın Anthropic’te insan araştırmacıların yerini bütünüyle aldığı anlamına gelmiyor. METR’nin tarif ettiği mevcut tablo, ağırlıkla insan araştırmacılara yardımcı olan sistemlere dayanıyor. Kuruluş, tam otonom katkıların yakında daha büyük rol oynayabileceğine dair bazı işaretler gördüğünü söylese de, incelemenin doğrudan ortaya koyduğu şey şimdilik insan-AI iş birliği içindeki hızlanma.
İncelemenin kapsamı ve kullanılan göstergeler
METR araştırması Anthropic içinde 11 hafta sürdü. Kuruluş, değerlendirme sırasında gizli araştırmalara, model performans verilerine ve çalışan görüşmelerine erişti. Şirketin başlangıçta belirlenen kapsamın ötesinde bilgi sağladığı da raporda belirtiliyor. Ancak bu erişim sınırsız değildi ve çalışma, METR araştırmacılarına ayrı bir program kapsamında vaat edilen “çalışan benzeri” erişimden farklı koşullarda yürütüldü.
Hızlanma değerlendirmesi, kıyaslama sonuçlarının yanı sıra çalışanlarla yapılan görüşmeler ve gayriresmî Slack anketleriyle desteklendi. Anthropic’in en yetenekli dahili modelini kullanan çalışanlar, kendi işleri için AI yardımı olmadan ulaşacakları üretkenliğe göre ortalama yaklaşık 12 kat daha üretken olduklarını bildirdi. Haberde aktarılan bu değer öz-bildirime dayanıyor; dolayısıyla doğrudan, standardize edilmiş bir üretkenlik ölçümü olarak değil, çalışanların deneyimine dair bir gösterge olarak ele alınmalı.
METR ayrıca gözlenebilir bir azalan getiri veya daha hızlı ivmeyi engelleyecek açık bir darboğaz belirtisi bulmadığını kaydediyor. Bu ifade gelecekteki ilerleme hızına ilişkin kesin bir tahmin değil; incelenen dönem ve erişilebilen kanıtlar içinde belirgin bir sınırlayıcı etken saptanmadığı anlamına geliyor. Araştırmanın kapsamı tek bir şirketle sınırlı olduğundan, sonuçları sektörün tamamına genellemek için ek veriye ihtiyaç var.
Yayımlanmamış modellerin rolü
METR’nin değerlendirmesine göre Anthropic araştırmacıları, kamuya sunulmamış daha gelişmiş modellerden de yararlanıyor. Rapor, son altı ayda eğitimi tamamlanan ancak henüz yayımlanmayan üç modelden söz ediyor: Model 2, Model 3 ve Model 4. Bu modellerin eğitimlerinin sırasıyla temmuz, ağustos-eylül ve eylül-ekim dönemlerinde tamamlandığı aktarılıyor. METR ayrıca 2022’den kalma, “Unreleased 2022” adıyla anılan başka bir modele de işaret ediyor.
Bu ayrıntı, ölçülen üretkenlik ve araştırma hızının yalnızca kamuya açık ürünlerle elde edilmediğini gösteriyor. Dolayısıyla dışarıdan araştırmacıların ya da diğer şirketlerin aynı araçlarla aynı sonucu tekrar üretmesi beklenemez. METR’nin kullandığı adların, kendisiyle paylaşılan kod adları olduğu; şirket içinde farklı kod adları bulunabileceği de not ediliyor.
Yayımlanmamış sistemlerin katkısı, sonuçların yorumlanmasında önemli bir sınır çiziyor. Bir yandan şirket içi AI araçlarının Ar-Ge döngüsüne etkisine dair kanıt sağlıyor; diğer yandan hangi teknik özelliklerin veya çalışma yöntemlerinin hızlanmaya yol açtığının kamusal rapordan ayrıntılı biçimde anlaşılmasını engelliyor.
Redaksiyonlar denetlenebilirliği sınırlıyor
METR, kamuya açık sürümdeki en önemli sınırlamanın Anthropic’in redaksiyon yetkisi olduğunu açıkça vurguluyor. Kuruluş, şirkete yaklaşık 100 sayfalık tam rapor sunduğunu, kamu sürümünde ise en bilgilendirici bulgularının çoğunun redakte edildiğini bildirdi. Buna ek olarak bilgi akışının görece dar olduğu ve bazı veri taleplerinin reddedildiği belirtiliyor.
METR’ye göre redakte edilen kanıtların çoğu birden fazla makul yoruma açık olabilirdi. Bu durum, dışarıdaki kişilerin hem bulguları hem de bulgularla ilişkili belirsizlikleri kendilerinin değerlendirmesini zorlaştırıyor. Kuruluş, bunun sonucunda kamuoyunun ideal olandan daha fazla METR’nin yargısına dayanmak zorunda kaldığını söylüyor.
Anthropic kurucu ortağı Sam McCandlish, redaksiyonların başkalarının METR’nin çalışmasını denetlemesini zorlaştırdığını kabul etti. McCandlish, hızlanmayı sağlayan unsurları ayrıntılı açıklamanın ticari açıdan hassas olduğunu ve başkalarına daha hızlı ilerlemeleri için yol haritası verebileceğini savundu. Şirketin yaklaşımı, bulguların açıklığı ile rekabet ve risk gerekçeleri arasındaki gerilimi görünür kılıyor.
Verinin söylediği ve söylemediği
METR’nin çalışması, yapay zekâ destekli araştırma süreçlerinin bir laboratuvarda hızlanmaya anlamlı katkı yaptığına dair veri sunuyor. Ancak çalışma, AI sistemlerinin insan denetimi olmadan kendi ardıllarını geliştirebildiğini göstermiyor. Raporun kendi çerçevesinde de mevcut ivmenin çoğu, insan araştırmacılara destek veren araçlardan geliyor.
Aynı nedenle, çalışanların öz-bildirdiği üretkenlik artışı ile model geliştirmedeki genel ilerleme arasındaki ilişkiyi tek başına nedensel bir mekanizma olarak okumak doğru olmaz. METR, hesaplama ölçeklemesinin tek açıklama olmadığı görüşünü ortaya koyuyor ve AI katkısının büyüdüğünü değerlendiriyor; fakat kamu sürümündeki redaksiyonlar, bu sonuca dayanak olan kanıtların ayrıntılı dış incelemesini sınırlandırıyor.
Raporun asıl değeri, Anthropic yapay zekâ Ar-Ge hızı tartışmasını varsayımlardan şirket içi gözlemlere taşıması. Asıl belirsizlik ise aynı derecede önemli: Kamuya açık kanıtlar, hızlanmanın tam olarak hangi unsurlardan doğduğunu, ne kadar kalıcı olduğunu ve farklı laboratuvarlarda aynı biçimde görülüp görülmeyeceğini henüz kesinleştirmiyor.
Bir içerik, dört format.
Okumaya vaktin yoksa özetle; paylaşacaksan platforma göre yeniden düzenle.
METR’nin Anthropic içinde yürüttüğü 11 haftalık inceleme, şirketin model geliştirme hızındaki artışın önemli bölümünü yapay zekâ kullanımına bağlıyor. Ancak kamuya açıklanan rapordaki kapsamlı redaksiyonlar, bulguların bağımsız biçimde değerlendirilmesini zorlaştırıyor. • Anthropic yapay zekâ Ar-Ge hızı neyi gösteriyor? • İncelemenin kapsamı ve kullanılan göstergeler • Yayımlanmamış modellerin rolü
Bu önizleme yalnızca sayfadaki editoryal veriyi yeniden biçimlendirir. Gerçek yapay zekâ üretimi Core tarafında güvenli bir sunucu endpoint’iyle bağlanacak.
