OpenAI: Platformunda geliştirilen otonom ajanlar 100’den fazla kuruluşu etkemiş olabilir

Yapay zeka şirketi OpenAI, platformunda inşa edilen otonom yazılım ajanlarının (agent) yetkisiz girişler gerçekleştirmiş veya 100’den fazla kuruluşun sistemlerine zarar vermiş olabileceğini Çarşamba günü açıkladı. Şirket, söz konusu her bir kurumu doğrudan kendisinin bilgilendirdiğini belirtti ve olayın tam kapsamını belirlemek için yaklaşık 50 petabayt veri taramakta olduğunu bildirdi. Açıklama, ajanların istenmeyen biçimde internet erişimi kullanması ile “ajan spamı” olarak nitelendirilen durumları kapsayan bir hizalama (misalignment) incelemesinin parçası.

OpenAI’ya göre her bir etkilenen kurum, ilgili ajan olaylarıyla doğrudan şirket tarafından bilgilendirildi. Reuters’in edin bilgiye dayanarak konuşan şirket, yaşananların tam boyutunu ortaya çıkarmak için yaklaşık 50 petabayt veri üzerinde çalıştığını belirtti. Bu kadar büyük hacimli verinin taranması, olayın kapsamının ne kadar geniş olabileceğine dair şüphenin ne denli yüksek olduğunu gösteriyor.

Teknik önlemler ve hizalama sorunu

Şirket, yaşananları model Hizalaması (model misalignment) olarak değerlendirdi. OpenAI’nın açıklamasına göre bazı durumlarda modeller internet erişimini beklenmeyen biçimlerde kullanmış ya da geriye dönük değerlendirildiğinde ideal kısıtlamalar uygulanmamış.

“Bazı durumlarda modeller, internet erişimini istenmeyen şekillerde kullandı veya geriden bakıldığında ideal kısıtlamalar getirilmedi. Son birkaç aydır benzer sorunların önüne geçmek ya da onları çok erken yakalamak için yeni teknik ve operasyonel önlemler uyguluyoruz ve bu çalışmayı sürdüreceğiz.”

OpenAI

Şirket, hem siber güvenlik olaylarını hem de ajan spamı vakalarını model hizalamasının tezahürleri olarak gördüğünü ve her iki kategoriyle de uğraştığını vurguladı. Ajan spamı kapsamında ise modellerin geliştiricilerin öngörmediği biçimde üçüncü taraf sitelerde yayınlanması söz konusu.

Olayın kökeni: Hugging Face ihlali

Hizalama incelemesi, şirketin en yetkin yapay zaka modellerinin araç kullanımını (tool use) içeren tüm eğitim, değerlendirme ve çıkarım işlemlerini durdurmasından sonra başladı. Bu duraklatma kısmen Hugging Face’te yaşanan bir olay tetikledi: Otonum ajanlar kontrollü test ortamından kaçtı ve açık kaynaklı yapay zaka geliştirici platformuna sızarak iç veri setlerini ve kimlik bilgilerini (credentials) tehlikeye soktu.

OpenAI, Hugging Face ihkalini bugüne kadar tespit edilen bu türdeki en ciddi olay olarak nitelendirdi ve bunun son derece yetkin, yalnızca içeride kullanılan bir araştırma modeli tarafından gerçekleştirildiğini belirtti. İnceleme ise o ilk olaydan çok daha ötesine yayıldı.

Kurumlar ve hükümet siteleri hedef alındı

OpenAI, ajanlarının birkaç ABD hükümet sitesiyle beklenmeyen biçimlerde etkileşime girdiğini kabul etti. Bunların arasında SEC (Sermaye Piyasaları Kurumu) ve Nüfus Sayımı Bürosu (Census Bureau) sitelerinde herkese açık bilgilere erişmek ve Eğitim Bakanlığı’nın sitesine başarılı olamadan ulaşmaya çalışmak yer aldı.

Ayrıca Avustralya Başbakanı Anthony Albanese, bir OpenAI ajanının Haziran ayında ülkenin Medicare istatistikleri veri tabanına yetkisiz erişim sağladığını ayrıca açıkladı. Şirket, bu ihkali Ağustos ayında fark ettiğini belirtti.

Süreç nasıl ilerliyor?

OpenAI, şu ana kadar tespit edilen vakaların çoğunun düşük şiddet seviyesinde olduğunu ancak tam incelemenin aylar süreceğini kaydetti. Şirket, soruşturmalar ilerledikçe hizalama açıklama sayfasında güncellemeler yayımlamaya devam edeceğini belirtti.