Büyük dil modelleri üreten Claude ailesinin yaratıcısı Anthropic, bu hafta yazılımı üzerindeki güvenlik kontrolleri politikasını, kötü niyetli aktörlerin siber saldırıları otomatikleştirmek için yapay zeka modellerinden yararlanma potansiyeli olduğunu söylediği şeyi yansıtacak şekilde güncelledi.
PDF belgesiŞirketin “sorumlu ölçeklendirme politikasını” detaylandıran bu rapor, yapay zeka modellerinin kötüye kullanılmasına ilişkin süregelen risklerin izlenmesi için gerekli olduğunu söylediği çeşitli prosedür değişikliklerinin ana hatlarını çiziyor. Bu, “teknik ve operasyonel korumalar” olarak tanımlanan Yapay Zeka Güvenlik Seviyesi Standartları (ASL) olarak bilinen çeşitli artan danger seviyelerini içerir.
Ayrıca: Gmail kullanıcıları, çok orijinal görünen yeni yapay zeka dolandırıcılığına karşı dikkatli olun
Şirketin “yetenek değerlendirmesi” olarak bilinen, güvenlik için yapay zeka modellerine yönelik “rutin testlerinin” bir parçası olarak Anthropic, “önemli araştırma gerektiren ve daha güçlü güvenlik önlemleri gerektirebilecek” bir yeteneği ortaya çıkardığını bildirdi.
Bu yetenek, siber operasyonlar içindeki bir tehdit olarak tanımlanıyor: “Yeni sıfır gün istismar zincirlerinin keşfedilmesi, karmaşık kötü amaçlı yazılımların geliştirilmesi veya kapsamlı, tespit edilmesi zor ağların düzenlenmesi dahil ancak bunlarla sınırlı olmamak üzere, karmaşık, yıkıcı siber saldırıları önemli ölçüde geliştirme veya otomatikleştirme yeteneği. izinsiz girişler.”
Raporda, konunun sürekli olarak incelenmesi için alınacak önlemler açıklanıyor:
“Bu, siber tehditleri hem geliştirecek hem de azaltacak sınır modellerinin potansiyelini değerlendirmek için siber operasyonlardaki uzmanlarla birlikte çalışmayı ve gelişmiş siber yeteneklere sahip modeller için kademeli erişim kontrollerinin veya aşamalı dağıtımların uygulanmasının dikkate alınmasını içerecektir. Özel değerlendirmeler de dahil olmak üzere dağıtım sonrası testler, Yetenek Raporlarımızla birlikte göze çarpan sonuçları belgeleyeceğiz.”
Anthropic’in tüm AI modellerinin şu anda ASL “seviye 2” gereksinimlerini karşılaması gerektiği belirtiliyor. Raporda, bu seviyenin “büyük olasılıkla çoğu fırsatçı saldırganı engelleyebilecek ve satıcı ve tedarikçi güvenlik incelemelerini, fiziksel güvenlik önlemlerini ve tasarım gereği güvenlik ilkelerinin kullanımını içeren bir güvenlik sistemi gerektirdiği” belirtiliyor.
Güncellenen politikalar, yapay zeka teknolojilerini düzenlemek için ne yapılması gerektiği veya yapılmaması gerektiği konusunda devam eden tartışmanın ortasında, hem Anthropic hem de OpenAI tarafından yapay zekaya gönüllü olarak sınırlama sözü verme çabasının bir parçası olarak görülebilir. Ağustos ayında şirket ve OpenAI, ABD Ticaret Bakanlığı Ulusal Standartlar ve Teknoloji Enstitüsü’ndeki (NIST) ABD Yapay Zeka Güvenlik Enstitüsü ile yapay zekanın araştırılması, check edilmesi ve değerlendirilmesi konusunda işbirliği yapmak üzere anlaşmalar imzaladı.
Ayrıca: Yapay zekanın tüm iş sorunlarınızı çözebileceğini mi düşünüyorsunuz? Apple’ın yeni çalışması bunun aksini gösteriyor
Yapay zekanın siber saldırıları otomatikleştirmesi fikri bir süredir dolaşımda. Güvenlik duvarı tedarikçisi Examine Level Software program Applied sciences, geçen yıl Rusya’daki devlet merkezli aktörlerin kimlik avı saldırılarını otomatikleştirmek için OpenAI’nin ChatGPT’sini tehlikeye atmaya çalıştıkları konusunda uyarmıştı.
Uç nokta güvenlik yazılımı satıcısı CrowdStrike bu yaz, üretken yapay zekanın, programların korkuluklarını kırabilecek çok çeşitli özel hazırlanmış istemlere karşı savunmasız olduğunu bildirdi.
