OpenAI Control Room araştırma işlerini nasıl durduruyor?

OpenAI Control Room nedir?

OpenAI Control Room, şirketin araştırma altyapısında çalışan model işlerini takip etmek ve güvenlik ya da emniyet kaygısı doğduğunda bunların model çıktısı üretmesini durdurmak için kurduğu merkezi sistemin adı. OpenAI’nin açıklamasına göre kapsam; eğitim ve değerlendirme için ajan tabanlı örnekleme, veri işleme ve benzeri araştırma çıkarım işlerini içeriyor.

Buradaki temel ayrım önemli: Sistem bir araştırma işinin bilgisayar süreçlerini mutlaka tamamen kapatmayı değil, o işin modelden yeni çıktı almasını engellemeyi hedefliyor. Böylece işin kendisi çalışır durumda kalabilse bile modelden yeni token örneklemesi yapılamıyor. OpenAI, sistemin araştırma altyapısında devrede olduğunu; dışarıya sunulan model hizmetlerinde ise mimarinin zaten daha merkezi olduğunu ve dağıtımları hızla devreden çıkarma kapasitesinin bulunduğunu belirtiyor.

Neden merkezi bir durdurma katmanı gerekiyor?

OpenAI, modeller güçlendikçe bunlarla ilişkili güvenlik ve emniyet risklerinin de büyüdüğünü; bu nedenle olası sorunları tespit edip gerektiğinde modelleri hızla durdurabilmenin kritik hale geldiğini söylüyor. Control Room, bu ihtiyaca araştırma işlerinin tek tek kendi kodlarına güvenmek yerine merkezi bir yetkilendirme noktası oluşturarak yanıt veriyor.

Şirketin gerekçesi, deney ve değerlendirme işlerini yürüten kodların araştırmacılar veya araştırmacı ekipleri tarafından sahiplenilmesi ve sık değişmesi. Bu çeşitlilik, kritik korumaları yalnızca iş yükü koduna yerleştirmeyi daha az uygun hale getiriyor. Buna karşılık, araştırmadaki çıkarım kod yollarının sayısının daha sınırlı ve dağıtımlarının daha merkezi olduğu ifade ediliyor. Bu nedenle denetim noktası, modelin çalıştığı çıkarım katmanına taşınıyor.

İş kimliği ve izin kontrolü nasıl çalışıyor?

Süreç, araştırmacının bir iş başlatmasıyla başlıyor. Bu iş bir pekiştirmeli öğrenme deneyi, değerlendirme, yüksek hacimli örnekleme veya veri işleme görevi olabilir. Ajan tabanlı çıkarım yapan her araştırma işinin onaylanmış bir güvenlik vakasıyla ilişkilendirilmesi gerekiyor. İş yükü kodu, Control Room’dan bir iş kimliği, yani job_id, talep ediyor.

İş modeli kullanmak istediğinde bu kimliği çıkarım motoruna iletip çıktı istiyor. Çıkarım motoru, modelin GPU’larda çalışan bölümü olarak tanımlanıyor. Bir iş bir veya birden fazla model kullanabilir; aynı motorun birden fazla iş tarafından kullanılması da mümkün. Kritik nokta, motorun isteği yerine getirmeden önce Control Room’a ilgili işin hâlâ yetkili olup olmadığını sorması.

Control Room işin durdurulmadığını görürse isteğe izin veriliyor ve motor model çıktısını işe geri döndürüyor. İş durdurulmuşsa izin verilmiyor; motor da çıktı üretmek yerine ret yanıtı veriyor. Bu tasarımda iş yükünün Control Room üzerinden geçmesi şart değil. Ancak her yeni çıkarım isteğinde motorun merkezi izin kontrolünü yapması amaçlanıyor.

OpenAI Control Room durdurma kararını nasıl uygular?

Bir kişi veya izleme sistemi bir işin durdurulması gerektiğine karar verdiğinde Control Room’a iş kimliğiyle birlikte durdurma talimatı gönderiliyor. Sistem bu kimliği sonlandırılmış olarak kaydediyor. Ardından aynı iş yeniden herhangi bir modelden, herhangi bir motor üzerinden çıktı istemeye çalışırsa, motorun yaptığı izin sorgusu reddediliyor.

Bu yaklaşım, iş yükü kodunun kendi başına doğru davranacağı varsayımına dayanmıyor. OpenAI’nin tarifinde iş süreci çalışmaya devam edebilir; fakat yeni model çıktısı alamaz. Aynı çıkarım motoru ise başka yetkili işler için kullanılmayı sürdürebilir. Böylece müdahale, tüm altyapıyı ya da motoru kapatmak yerine belirli iş kimliğinin model çıktısına erişimini kesmeye odaklanıyor.

İzleme uyarıları sisteme nasıl bağlanıyor?

OpenAI, tüm sınır model pekiştirmeli öğrenme işlerinin bir izleyiciyle çalıştığını söylüyor. Bu izleyici de başka bir model: Eğitilen modelin yaptığı her şeyi inceliyor ve sorun tespit ederse uyarı üretiyor. Şirket, DNS ile ilgili yakın tarihli olayının bir izleyici tarafından yakalandığını belirtiyor.

İzleme sistemi olası bir sorun saptadığında, ayrıntılara ve şiddete göre işi durdurma kararı verebiliyor. Bu durumda Control Room’a iş kimliğini içeren bir mesaj gönderiliyor. Control Room kimliği sonlandırılmış olarak işaretliyor ve bu işin sonraki token örnekleme talebi reddediliyor. Açıklanan akış, izleme uyarısı ile modelden ek çıktı alınmasının engellenmesi arasındaki bağlantıyı bu merkezi kayıt üzerinden kuruyor.

35 saniye sınırı ve “fail-closed” yaklaşımı

OpenAI’ye göre Control Room’un bir işi durdurma talimatını almasından, o işin yeni ilerleme kaydedemez hale gelmesine kadar geçen azami süre 35 saniye. Şirket, bu gecikmenin gereken trafik hacmini desteklemek için çıkarım yetkilendirmesinde kullanılan önbellek katmanından kaynaklandığını söylüyor ve süreyi sıfıra indirerek işleri anında bitirmeye çalıştığını belirtiyor.

Sistemin ikinci koruması “fail-closed” olarak adlandırılan davranış. Buna göre Control Room hizmeti bir sistem hatası nedeniyle çalışmazsa veya kötü niyetli bir aktörün müdahalesi dahil başka bir sebeple devre dışı kalırsa, motorlardaki entegrasyon tüm çıkarım isteklerini reddedecek şekilde yapılandırılmış. İstekler ancak Control Room yeniden normal çalışmaya başladığında kabul edilebiliyor.

OpenAI, bu yaklaşımın sınır model araştırma işlerinin tamamında devreye alındığını ve kalan araştırma işlerinde de kısa süre içinde tamamlanacağını ifade ediyor. Şirket ayrıca Control Room denetimleri olmadan ya da devre dışı bırakılmış motor uygulamalarının yanlışlıkla veya kasıtlı olarak başlatılmadığını kontrol etmek için sürekli ajan tabanlı ve programatik taramalar yaptığını aktarıyor.