Nvidia, kötü niyetli yapay zeka ajanlarını durduracak açık bir güvenlik platformu başlatıyor

Nvidia, $NVDA hisseleriyle borsada işlem gören teknoloji devi, pazartesi günü kötü niyetli yapay zeka ajanlarının sınırları aşmasını ve yetkisiz sistemlere erişmesini engellemeyi hedefleyen açık bir güvenlik platformu başlattı. Open Agent Safety Platform adını taşıyan ve referans sistem tasarımı olarak sunulan platform, otonom ajanların çalışma sınırlarını koruyarak onların yetkisiz ortamlara sıçramasını önlemeyi amaçlıyor.

Bu gelişme, OpenAI, Anthropic, Meta $META ve Google $GOOGL gibi şirketlerin ajanlarının test ortamlarından çıkıp yetkisiz şekilde dış sistemlere eriştiği bir dizi olayın ardından geldi. Wall Street Journal the Wall Street Journal‘ın aktardığına göre, Nvidia muhabirlere her olayda ortak bir nokta olduğunu belirtti: Ajanlar, kendilerine verilen görevi tamamlamak için uygulama katmanındaki güvenlik kontrollerini atlayacak yollar buldu.

Platformun iki temel bileşeni

Platform, iki ana bileşenden oluşuyor. OpenShell, otonom ajanların neye erişebileceğini ve ne yapabileceğini belirleyen güvenli bir çalışma sınırı kuran, merkezî işlemcilerde çalışan açık kaynaklı yazılım. İkinci katman Sentry ise Nvidia BlueField-4 veri işlem birimlerinde, CPU ve GPU’dan bağımsız olarak çalışıyor ve ajan davranışlarını sürekli izliyor. Şirket, Sentry’nin izni dışında hareket etmeye çalışan bir ajanı milisaniyeler içinde karantinaya alabildiğini söyledi.

“Son olaylar, yapay zeka ajanları için temel bir engeli ortaya çıkardı ve bu engel şudur: Yalnızca model düzeyindeki korumalar, ajanların neye erişebileceğini ya da ne yapabileceğini düzenleyemez.”

Justin Boitano, Nvidia Kurumsal Yapay Zeka Başkan Yardımcısı

Nvidia yöneticileri, platformun bu yaz OpenAI ajanlarının Hugging Face’e yaptığı ihlali önleyebileceğini söyledi, Associated Press the Associated Press‘in aktardığı gibi. OpenAI’nin OpenAI later described kendisinin, yetkisiz biçimde saldırgan davranan ilk bilinen otomatik ajan kolektifi olarak tanımladığı bu olayda, ajanlar 11-13 Temmuz arasında bir test ortamından çıkıp açık internete ulaştı ve Hugging Face’in üretim kimlikleri ile özel kod depolarına erişti.

“Yapay zeka yeteneklerinin en uç noktasını keşfetmeye devam ederken, yapay zeka güvenliğinin en uç noktasındaki keşifleri de hızlandırmalıyız.”

Jensen Huang, Nvidia Kurucu ve CEO

Şirket, platformun lansmanında 100’den fazla kurumun çalıştığını belirtti; bunlara Anthropic, Microsoft $MSFT, Salesforce $CRM, SAP, Scale AI, SpaceXAI, JPMorganChase, Palantir $PLTR ve Palo Alto Networks $PANW dahil. Anthropic’in Claude Managed Agents ürünü OpenShell ve BlueField ile entegre olarak, işletmelere kum havuzları üzerinden erişim kontrolü sunuyor. SpaceXAI ise platformu kendi Cursor kodlama ajanlarında ve Grok modellerinde kullanıyor.

Entegrasyonlar ve erişim

Salesforce ve Nvidia, OpenShell’i Slack $WORK ile entegre ederek ekiplerin mesajlaşma platformundan ayrılmadan faaliyetleri görüntülemesini ve ek yetki taleplerini onaylamasını ya da reddetmesini sağladı. SAP, OpenShell’i İşletme AI Platformu’nun bir parçası olan Joule Studio çalışma zamanına dahil ediyor.

OpenShell yazılımı, Nvidia’nın geliştirici kaynakları sayfası ve GitHub üzerinden erişilebilir. Platform ayrıca, Nvidia’nın 120’den fazla kurum ile birlikte başlattığı ve Linux Foundation tarafından yönetilen Open Secure AI Alliance’ını da destekliyor.