Yapay zeka sistemlerinin yapabilecekleri kapasite her geçen gün artarken bununlara ek olarak 'kaza' senaryoları da geldi. Bugüne kadar genellikle modellerin halüsinasyonlarını ya da verdikleri ilginç cevapları konuşuyorduk. Ancak bu kez durum biraz daha farklı bir noktada. Gemini yapay zeka modelinin test ortamından kaçarak gerçek şirketleri hacklemesi beklenmedik bir durum oldu.
Siber güvenlik dünyasında aşina olduğumuz bayrağı yakala (Capture the Flag) tarzında bir sızma testinde işler planlandığı gibi gitmedi. Testi kurgulayan siber güvenlik girişimi, tamamen izole olması gereken altyapıda kritik bir yapılandırma hatası yapıyor ve sistemi yanlışlıkla internete açık unutuyor.
Üstüne üstlük hedefteki kurgusal şirketin adının gerçek dünyadaki şirketlerle aynı olması sorunu oluşturan asıl kaynaklardan. Gemini, verilen görevi yerine getirmek için sadece kendisine sunulan simülasyonda kalmıyor ve internete çıkıyor, hedef şirketin adını aratıyor, açık kaynak kod havuzlarında unutulmuş kimlik bilgilerini tarıyor ve brute-force saldırıları düzenleyerek üç farklı gerçek şirketin sistemine sızmayı başarıyor.
Aslında buraya kadar olan kısım, OpenAI ve Anthropic modellerinin benzer testlerde yaşadığı krizlerle paralellik gösterdi. Hatta geçmiş raporlarda Claude'un girdiği sistemin gerçek olabileceğini fark etmesine rağmen saldırı görevine ısrarla devam ettiği senaryoları da görmüştük. Ancak Gemini vakasını sektördeki diğer örneklerden ayıran detay şu: Model, girdiği sistemin bir simülasyon değil, gerçek bir kurumsal altyapı olduğunu fark ettiği anda inisiyatif alıp eylemlerini tamamen durdurdu ve sistemden çıktı.
Google bu durumu bir güvenlik ihlalindense yapay zekanın sorumlu davranma yetisine dair bir sınav olarak yorumlamayı tercih ediyor. Hatta ortada bir veri sızıntısı veya zarar olmadığı için olayı hata ödül programı olarak konumlandırdı.
Yapay zekaya bu denli bir otonomi kazandırmak, inanılmaz yetenekli ama dünyadan habersiz bir asistana sunucu odasının anahtarlarını teslim etmekle eş değer bir tutum. Gemini'ın eylemlerinin gerçek dünyadaki karşılığını idrak edip frene basabilmesi, geliştirilen güvenlik bariyerlerinin gerçekten çalıştığını gösteren umut verici bir işaret olsa da bu sınırın ne kadar korunabileceği bir muamma aslında.
İzole bir test ortamındaki küçük bir yapılandırma hatasının bile yapay zekayı gerçek şirketlerin ağlarında dolaşmaya itebilmesi, otonom sistemleri tamamen serbest bırakmadan önce güvenlik protokolleri konusunda daha çok dikkat edilmesi gerektiğinin de bir göstergesi oldu.
