Mahkemeye sunulan dilekçenin temel işlevi hâkime, karşı tarafa davacının iddialarını, davalının savunmalarını taşımaktı. Yapay zekânın dava dosyalarını okumaya başlamasıyla belgenin ikinci ve daha az görünür bir işlevi ortaya çıktı: Belgenin içine yerleştirilen talimatlar, onu inceleyen yapay zekâ sisteminin davranışını değiştirmeye çalışabiliyor.
ABD'nin Connecticut eyaletinde bir mahkemenin ağustos ayında verdiği yaptırım kararı ile Brezilya'da son aylarda ortaya çıkan bir dizi vaka, siber güvenlik çevrelerinde uzun süredir bilinen “prompt injection” tekniğinin artık gerçek dava dosyalarında kullanıldığını gösteriyor.
Connecticut Yüksek Mahkemesi yargıcı Walter Spader Jr., kendi davasını avukatsız takip eden Matthew Elliott'ın 24 Temmuz'da elektronik olarak sunduğu belgelerin içine insan gözüyle görülmesi güç, çok küçük ve beyaz renkte metinler yerleştirdiğini belirledi.
Gizli metin, belgeyi okuyabilecek bir yapay zekâ sisteminden Elliott'ın görüşünü destekleyen çıktı üretmesini ve daha önce aleyhine verilmiş bir mahkeme ara kararının düzeltilmesi gerektiği sonucuna varmasını istiyordu. Mahkeme, bunu bir “prompt injection” girişimi olarak nitelendirdi.
Yargıç Spader, 6 Ağustos tarihli kararında Elliott'ın elektronik dosyalama yetkisini kaldırdı ve bundan sonraki belgelerini kâğıt üzerinde mahkeme kalemine vermesine hükmetti.
Olayın alışılmadık yönlerinden biri, saldırının hedeflediği sistemin gerçekte bulunmamasıydı. Connecticut yargısı dava dosyalarını incelemek veya karara bağlamak için yapay zekâ kullanmıyor. Mahkeme de ara kararında gizli komutun hiçbir kararı etkilemediğini belirtti.
Ancak yargıç açısından bu girişimden sonuç alınamaması davranışın niteliğini değiştirmedi. Spader, bir belgenin görünen içeriğinden ayrı olarak makinelere yönelik gizli bir mesaj taşımasının yargılama sürecinin açıklığıyla bağdaşmadığını söyledi. Elliott ise Reuters'a metni mahkemenin yapay zekâ kullanıp kullanmadığını “denetlemek” amacıyla yerleştirdiğini söyledi.
ABD'deki olayın öncüsü Brezilya oldu
Connecticut mahkemesi kararını verirken doğrudan Brezilya'da birkaç ay önce yaşanan bir olaya atıf yaptı.
Brezilya'nın Pará eyaletindeki Parauapebas 3. İş Mahkemesi'nde görülen bir davada iki avukat, Mayıs ayında sundukları dilekçenin içine beyaz zemin üzerinde beyaz yazıyla yapay zekâya yönelik gizli bir talimat yerleştirdi.
Komut, belgeyi inceleyen yapay zekâdan davalının savunmasını özetlemek için için hazırlayacağı içeriği yüzeysel tutmasını ve dilekçeye ekli belgeleri karara etkili olacak şekilde sorgulamamasını istiyordu.
Ancak saldırı başarılı olmadı. Brezilya iş yargısında kullanılan Galileu adlı yapay zekâ sistemi gizli içeriği tespit etti.
Mahkeme davranışı ağır bir usulî kötü niyet olarak değerlendirdi ve iki avukata dava değerinin yüzde 10'una karşılık gelen yaklaşık 84 bin real para cezası verdi; olay ayrıca Baroya ve ilgili adli mercilere bildirildi.
Başlangıçta sıra dışı görünen olay kısa sürede tekil olmaktan çıktı.
Brezilya Yüksek Adalet Mahkemesi STJ, 20 Mayıs'ta kendi dava arşivinde de gizli yapay zekâ komutları içeren dilekçeler tespit ettiğini açıkladı. Mahkeme Başkanı Herman Benjamin, STJ'nin kullandığı üretken yapay zekâ sistemi STJ Logos üzerindeki girişimlerin engellendiğini, vakaların haritalandırıldığını ve sorumlular hakkında usulî, idari ve olası cezai yaptırımların araştırılacağını söyledi.
STJ ayrıca polis soruşturması ve idari inceleme başlattı.
São Paulo Eyalet Mahkemesi de Campinas ve São Paulo'da aynı avukat tarafından açıldığı belirtilen bir dizi davada beyaz renkle gizlenmiş komutlar tespit etti. Talimatlar yapay zekâdan adli yardım talebini ve varsa ihtiyati tedbiri kabul etmesini ve davalının çağrılmasını istiyordu.
Mahkeme olaylardan birinde avukata kötü niyetli dava takibi nedeniyle 10 asgari ücret tutarında ceza verdi ve dosyanın savcılık, yargı denetim makamı ve barolara gönderilmesine karar verdi. Mahkeme olayları aynı zamanda seri ve kötüye kullanılan dava takibi şüphesiyle ilişkilendirdi.
Santa Catarina yargısı da haziran ayında bir tüketici davasındaki savunma belgesinde gizli talimat tespit edildiğini ve yargıyı kötü niyetle etkileme girişimi nedeniyle yaptırım uygulandığını açıkladı.
Temmuz ayında São Paulo'daki 9. İş Mahkemesi'nde görülen başka bir davada ise savunma dilekçesinin sonunda, küçük ve beyaz yazıyla, yapay zekâya davanın reddi yönünde karar taslağı hazırlamasını söyleyen bir komut bulundu. İki avukata yargıyı kötü niyetle etkileme girişimi nedeniyle para cezası verildi.
Vakalar birlikte değerlendirildiğinde Brezilya, yargıya karşı prompt injection'ın teorik bir siber güvenlik ihtimali olmaktan çıkıp tekrarlanan bir adli uygulama sorununa dönüştüğü ilk ülkelerden biri haline geldi.
Brezilya ülke çapında güvenlik programı başlattı
Art arda gelen vakalar düzenleyici tepkiyi de beraberinde getirdi.
Brezilya Ulusal Adalet Konseyi CNJ, 9 Haziran'da yapay zekâ kullanan yargı sistemlerini gizli komutlardan korumaya yönelik ulusal bir teknik çerçeveyi oybirliğiyle kabul etti.
CNJ'nin değerlendirmesine göre saldırı yalnızca dilekçede beyaz yazıyla gizlenmiş birkaç kelimeden ibaret olmayabilir. Zararlı talimatlar PDF metadatasında, bağlantılarda, bilgi tabanlarında ve sistem tarafından alınan başka girdilerde de bulunabilir.
Konsey özellikle dışarıdan belge alan ve üretken yapay zekâyla özet, karar taslağı, sınıflandırma veya tavsiye üreten sistemlerin daha yüksek güvenlik denetimine tabi tutulmasını istedi.
CNJ bunun için Proseg-IA – Yargı Yapay Zekâ Sistemleri Adversarial Güvenlik Programı adı verilen ulusal programı oluşturdu.
Program kapsamında yapay zekâ sistemlerinin belgelerdeki normal içerikle şüpheli içeriği ayırıp ayırmadığının, kullanılan metnin kaynağını takip edip edemediğinin ve dava dosyalarındaki talimatların sistem komutu olarak yorumlanmasını önleyecek sınırların bulunup bulunmadığının denetlenmesi öngörülüyor.
Konsey ayrıca gizli metin, olağandışı metadata veya başka bir manipülasyon girişimi tespit edildiğinde bunun dava dosyasına kaydedilmesini; sistemlerde izlenebilirlik, insan gözetimi ve olay müdahale mekanizmalarının bulunmasını tavsiye ediyor.
Bu yaklaşım, prompt injection sorununu yalnızca “hile yapan avukata ne ceza verilmeli?” sorusundan çıkarıp doğrudan yargısal bilgi sistemlerinin mimarisi ile ilgili bir meseleye dönüştürüyor.
Bir PDF artık sadece belge olmayabilir
Teknik açıdan sorun, büyük dil modellerinin kendilerine verilen “talimat” ile incelemeleri istenen “içeriği” her zaman güvenilir biçimde ayıramamasından kaynaklanıyor.
Siber güvenlik kuruluşu OWASP, prompt injection'ı büyük dil modelleri için en temel güvenlik risklerinden biri olarak sınıflandırıyor. Özellikle bir internet sitesi, e-posta veya dosya gibi dış kaynaktaki talimatın model tarafından okunması dolaylı prompt injection olarak adlandırılıyor. Komutun insan tarafından görülebilir olması da gerekmiyor.
ABD Ulusal Standartlar ve Teknoloji Enstitüsü NIST de saldırganların görünmeyen bölgelere talimat gizleyebileceğini ve bu tür komutların yapay zekâ ajanlarının asıl görevini değiştirerek saldırganın istediği eylemleri yapmasına yol açabileceğini belirtiyor.
Bu nedenle yapay zekâ açısından mahkemeye gelen bir PDF, Word belgesi, e-posta veya web sayfası artık yalnızca okunacak veri değildir. Aynı dosya, sistem tarafından yanlış yorumlanması halinde çalıştırılmaya çalışılan bir talimatın taşıyıcısı haline gelebilir.
Aradaki fark özellikle otonom veya yarı otonom yapay zekâ sistemleri yaygınlaştıkça önem kazanıyor.
Sadece bir belgeyi özetleyen bir modelde başarılı saldırı, özetin taraflı veya eksik oluşturulmasına yol açabilir. Dosyaları araştırabilen, başka sistemlere erişebilen veya taslak karar ve işlem hazırlayabilen bir ajan söz konusu olduğunda saldırının etkisi daha geniş olabilir.
Bu nedenle güvenli tasarımın yalnızca “model kötü komuta uyacak mı?” sorusuna dayanması yeterli görülmüyor. CNJ'nin Brezilya için önerdiği modelde dış belgeler güvenilmeyen veri olarak ele alınıyor; metnin kaynağı takip ediliyor ve belge içeriği ile sistemi yöneten komut katmanı birbirinden ayrılmaya çalışılıyor.
Halüsinasyondan manipülasyona
Üretken yapay zekânın hukuk alanındaki ilk büyük güvenilirlik tartışması, avukatların ChatGPT ve benzeri sistemlerin ürettiği var olmayan içtihatları mahkemelere sunmasıyla ortaya çıktı.
Prompt injection ise farklı bir problem yaratıyor.
Halüsinasyonda yapay zekâ kendi hatası nedeniyle gerçeğe aykırı bilgi üretirken, prompt injection'da dışarıdaki bir kişi sistemi kasıtlı olarak yanıltmaya çalışıyor.
Başka bir ifadeyle riskin kaynağı yalnızca modelin güvenilmezliği değil; davanın tarafları, avukatlar veya dava dosyasına belge sunma yetkisine sahip bilirkişi gibi kötü niyetli başka bir aktörler de yapay zekânın okuyacağı içeriği saldırı aracına dönüştürebilir.
Connecticut kararı bu nedenle Brezilya örneklerinden farklı bir uyarı taşıyor. Connecticut mahkemesi gizli komutun hedefleyebileceği bir yargısal yapay zekâ sistemi kullanmıyordu. Buna rağmen mahkeme, elektronik dosyanın içine makineye yönelik gizli talimat yerleştirilmesini başlı başına yargısal sürecin bütünlüğüne yönelik bir davranış olarak değerlendirdi.
Bu yaklaşım yaygınlaşırsa gelecekte mahkemelerin yalnızca başarılı manipülasyonları değil, yapay zekâyı gizlice etkilemeye yönelik teşebbüsleri de usul hukuku ve meslek etiği bakımından ayrıca değerlendirmesi gündeme gelebilir.
Üstelik bu saldırıyla hedeflenebilecek tek risk altındaki tek merci mahkemeler de değil. Benzer şekilde yapay zeka ile iş akışı yöneten her özel ve resmi kurum da bu saldırının hedefi olabileceği gibi, bu tür bir yönlendirici komut içeren dilekçeyi kullandığı AI destekli uygulamaya yükleyip cevap hazırlamaya çalışan avukat da hedefe dönüşebilir.
Türkiye açısından risk henüz teorik, altyapı tartışması ise bugünden başlamalı
Türkiye'de kamuoyuna yansımış benzer bir yargısal prompt injection vakası bulunduğuna ilişkin güvenilir bir kayıt şimdilik yok.
Ancak Brezilya'daki gelişmeler Türkiye açısından uzak bir teknoloji tartışması olarak görülemeyebilir. Çünkü Türk yargısında da yapay zekânın dosya inceleme ve karar hazırlama süreçlerinde kullanılması kurumsal hedefler arasında yer alıyor.
Yargıtay'ın 2024 faaliyet raporunda, Yargıtay İçtihat Merkezi istenen düzeye getirildikten sonra dosya özetleme, gerekçeli karar yazımı ve takrir raporu hazırlama alanlarında yapay zekâ algoritmalarının geliştirilmesinin planlandığı belirtiliyor.
Yargıtay'ın 2025 faaliyet raporu da “yapay zekâ destekli rapor hazırlama ve gerekçeli karar yazma usullerinin uygulanması” hedefini koruyor ve bu konuda ön görüşmeler ile çalışmaların devam ettiğini bildiriyor.
Bu projeler prompt injection nedeniyle terk edilmesi gereken çalışmalar anlamına gelmiyor. Brezilya örneğinin gösterdiği durum bunun tam tersi: Yapay zekâ yargısal iş akışına ne kadar fazla girerse, dışarıdan gelen dava belgelerinin güvenilmeyen veri olarak işlenmesi o kadar önemli hale geliyor.
Türkiye açısından olası güvenlik standardı; UYAP veya başka yargısal sistemlerden alınan PDF, UDF, Word, taranmış belge ve eklerin yapay zekâya doğrudan komut akışının parçası olarak verilmemesini, görünmeyen metin ve metadata katmanlarının denetlenmesini, olağandışı talimatların işaretlenmesini ve sistemin kullandığı her bilgi parçasının kaynağının sonradan izlenebilmesini içerebilir.
Daha ileri aşamada yapay zekânın hazırladığı özet, rapor veya karar taslağının hangi belge parçalarından etkilendiğini gösteren denetim izi de yargısal güvenliğin önemli unsurlarından biri haline gelebilir.
Buradaki mesele yalnızca siber güvenlik değildir. Bir tarafın gizli komutunun mahkemenin kullandığı yapay zekâ tarafından dikkate alınması; silahların eşitliği, hâkimin tarafsızlığı, hukuki dinlenilme hakkı, çelişmeli yargılama ve kararın gerekçesinin kaynağının denetlenebilirliği gibi doğrudan adil yargılanma ilkelerini ilgilendirebilir.
Brezilya CNJ'sinin prompt injection konusunda ulusal standart geliştirmesi bu açıdan Türkiye için dikkat çekici bir örnek sunuyor: yapay zekâ güvenliği, sistem faaliyete geçirildikten sonra ortaya çıkan kötüye kullanımları cezalandırmakla sınırlı bırakılmıyor; belgenin sisteme girdiği ilk noktadan itibaren yargısal mimarinin bir parçası olarak ele alınıyor.
Yapay zekâ destekli hukuk sistemleri geliştikçe mahkemelerin önündeki güvenlik sorusu bu nedenle yalnızca modellerin ne kadar doğru olduğuyla sınırlı kalmayabilir.
Geleceğin dava dosyasında mahkemenin yalnızca belgenin ne söylediğini değil, belgenin yapay zekâya ne yaptırmaya çalıştığını da denetlemesi gerekebilir.