Yapay zekâ bir yandan sorun çözerken diğer yandan büyük riskler içeriyor… Çin merkezli Moonshot AI'ın geliştirdiği Kimi isimli yapay zeka sisteminin, biyolojik silah üretimi ve suikast düzenlemekle ilgili araştırma komutlarını yerine getirmesi üzerine şirket inceleme başlattı.
K2.6 ve K3 Swarm
Bu kapsamda yapay zeka sistemlerinin güvenliğini test eden Mindgard isimli şirket, Kimi'nin ilgili sürümleri hakkındaki bulguların endişe verici olduğunu söyledi.
Mindgard'dan Peter Garraghan, BBC'ye yaptığı açıklamada, Kimi K2.6 ve K3 Swarm'ın geliştiriciler tarafından konulan güvenlik sınırlarını aşabildiğinin Temmuz ayında keşfedildiğini söyledi.
Bu durum, araştırmacıların yapay zeka araçlarının güvenlik önlemlerini göz ardı edip etmediğini görmek için bir dizi karmaşık talimat kullandığı "jailbreaking" adı verilen bir süreç sırasında ortaya çıktı.
Mindgard'a göre koyulan önlemler, Kimi'nin endişe verici konuları tartışmasını engellemeliydi.
Moonshot, BBC'ye yaptığı açıklamada, üçüncü tarafların katkısını "daha iyi ve daha güvenli yapay zeka geliştirmek için temel bir unsur" olarak memnuniyetle karşıladığını belirtti.
Yapay zeka ajanı nedir, neden endişe verici bulunuyorlar?
OpenAI, yapay zekanın uygunsuz davrandığı 'onlarca' vakayı araştırıyor
Jailbreak adı verilen durum, yapay zeka ile ilgili son zamanlardaki vakalarda rastlanandan farklı bir risk.
Yine söz konusu vakalarda, OpenAI, Meta ve Anthropic gibi ABD merkezli firmalar tarafından geliştirilen ve ajan olarak bilinen otonom yapay zeka araçlarının bazı internet hizmetlerini hacklediği görülmüştü.
Bu arada Mindgard'dan Peter Garraghan, BBC'ye yaptığı açıklamada jailbreak vakasını şöyle anlattı:
"Jailbreak başarılı olduğunda, [sistem] her konuda konuşuyor, hatta kötü niyetli diğer konular da önerilerde bulunuyor. Oldukça yaratıcı ve yenilikçi oluyor."
Anthropic şirketi kısa süre önce, yapay zeka modellerinden birinin biyolojik silah geliştirilmesini destekleyebilecek "kötü amaçlı faaliyetler" için kullanılma girişimlerini tespit edip, engellediğini açıklamıştı.
Siber saldırı fırlatma rampası
Kimi'nin endişe verici konularda verdiği yanıtların doğruluğu Mindgard tarafından incelenmedi.
Ancak yapay zeka güvenliği üzerine çalışan Mindgard, önlemlerin söz konusu modellerin kullanıcılarla bu tür konularda tartışmaya girmesini engellemiş olması gerektiğini vurguladı.
Şirket ayrıca, jailbreak yapıldığında bir Kimi 2.6'nın bilgisayar kaynaklarında kod çalıştırabildiğini, internete bağlanabildiğini, böylece de siber saldırılar için potansiyel bir fırlatma rampası oluşturabileceğinden de emin olduğunu belirtti.
Mindgard'ın Moonshot'ın yapay zeka sisteminin güvenlik önlemlerini nasıl aştığına dair önemli ayrıntıları açıklamadığını da vurguladı.
Mindgard, 27 Temmuz'da gönderdiği bir e-postayla Moonshot'u jailbreak konusunda uyardı ve yaklaşık bir hafta sonra da konuyla ilgili bir mesaj daha gönderdi.
12 Eylül'de konuyla ilgili bir blog yayınladı
Ancak şirket, Moonshot'un ancak BBC'nin yorum almak iletişime geçmesinden sonra kendileriyle temasa geçtiğini söyledi.
Çinli Moonshot firması, BBC'nin gördüğü bir yazışmada, Mindgard'a Kimi sürümünün "bu tür talepler için yüksek bir ret oranı" gösterdiği savunmasını yaptı.
O jailbreak'i önleme
Dolayısıyla Bu bulgular, yapay zeka sektörünün, ChatGPT ve Anthropic'in Claude sistemleri gibi kapalı, tescilli modellerin mi yoksa açık kaynaklı araçların mı en iyi veya en güvenli yol olduğu konusunda hala bölünmüş olduğu bir dönemde ortaya çıktı.
Kimi, açık kaynak ağırlıklı bir model. Yani teoride birisi bu modeli alıp kendi bilgi işlem altyapısında çalıştırabiliyor.
Surrey Üniversitesi'nden Profesör Alan Woodward, BBC'ye yaptığı açıklamada, açık kaynaklı modellerin yanlış ellere geçme riski bulunduğunu ama siber savunma amacıyla da kullanılabileceğini söyledi.
Yapay zeka firması Hugging Face'in, daha sonra OpenAI ajanları tarafından gerçekleştirildiği ortaya çıkan bir siber saldırıyı anlamak için Çin menşeli açık kaynaklı bir model kullandığını belirtti.
Profesör Woodward, uluslararası düzenlemelerin yapay zeka gelişiminin hızına ayak uydurmasının mümkün olmadığını belirtti ve "Telefon numaralarının formatı konusunda anlaşmaya varmamız onlarca yılımızı aldı" dedi.
Mindgard'ın kurucusu Garraghan gibi, Profesör Woodward da yapay zekayı kötüye kullanan insanların tespit edilmesine ve yargılanmasına daha fazla odaklanılması gerektiğine inanıyor.
