Hukuk için yapay zekâ aracı seçerken nelere bakılmalı
Hukuk alanında yapay zekâ araçlarının sayısı hızla artıyor ve tanıtım metinleri birbirine benziyor. Bir aracı seçerken belirleyici olan, vaat edilen hız değil; verdiği kararların bulunabilir, doğru ve güncel olup olmadığı ile müvekkil bilgisine nasıl davrandığıdır.
Aşağıdaki ölçütler, herhangi bir aracı değerlendirirken sağlayıcıya sorabileceğiniz ve kendiniz test edebileceğiniz sorulardan oluşuyor.
1. Künye nereden geliyor: modelden mi, veritabanından mı?
En temel soru budur. Karar künyesi, gerçek bir karar kaydından mı alınıyor, yoksa dil modeli tarafından metnin bir parçası olarak mı yazılıyor? Künyeyi model yazıyorsa biçimsel olarak doğru görünen ama var olmayan künyeler ortaya çıkabilir.
Sağlayıcıya sorun: gösterilen her kararın metnine ulaşabiliyor muyum, künye ile metin aynı kayıttan mı geliyor?
2. Atıflar doğrulanıyor mu, nasıl?
Künyenin var olması ile kararın gerçekten o iddiayı desteklemesi ayrı konulardır. İyi bir araç iki soruyu da ayrı ayrı ele alır ve doğrulanamayan bir atfı size göstermez ya da açıkça işaretler.
- Künyenin varlığı kontrol ediliyor mu?
- Atfedilen önermenin kararın metninde bulunup bulunmadığı kontrol ediliyor mu?
- Doğrulanamayan atfa ne oluyor: çıkarılıyor mu, işaretleniyor mu, yoksa olduğu gibi mi bırakılıyor?
- Bu kontrollerin ne kadar iyi çalıştığına dair bir ölçüm yayınlanmış mı?
3. Korpusun kapsamı ve güncelliği
Hangi mahkemelerin kararları var: Yargıtay ve Danıştay yanında bölge adliye mahkemeleri, Anayasa Mahkemesi, AİHM ve ilk derece kararları kapsama dahil mi? Toplam karar sayısı tek başına yeterli bir gösterge değildir; sizin çalıştığınız alanda yeterli karar olup olmadığını kendi sorularınızla deneyin.
Mevzuat tarafında soru, güncellemenin ne sıklıkla ve hangi kaynaktan yapıldığıdır. Değişmiş ya da yürürlükten kalkmış bir maddeye yapılan atıf, uydurma bir künyeden daha tehlikelidir, çünkü doğru görünür. Yakın zamanda değişen bir maddeyi sorarak aracın güncel metni kullanıp kullanmadığını test edebilirsiniz.
4. Gizlilik, KVKK ve yurt dışına aktarım
Araca yazdığınız sorular ve yüklediğiniz belgeler müvekkil bilgisi içerebilir. Karar vermeden önce aydınlatma metnini okuyun ve şu soruların açık bir cevabı olup olmadığına bakın:
- Sorgular ve belgeler hangi amaçlarla işleniyor ve ne kadar süre saklanıyor?
- Veriler yurt dışına aktarılıyor mu; aktarılıyorsa hangi alıcı gruplarına ve hangi hukuki dayanakla?
- Kişisel veriler işlenmeden önce maskeleniyor mu?
- Sorgular ve belgeler yapay zekâ modellerinin eğitiminde kullanılıyor mu?
- Hesabınızı ve verilerinizi silme talebiniz nasıl karşılanıyor?
5. Kendiniz test edebiliyor musunuz?
En güvenilir değerlendirme, cevabını zaten bildiğiniz bir soruyla yapılır. Kendi dosyanızdan bir uyuşmazlığı yazın; dönen kararları kaynağında kontrol edin, künyelerin tamamının bulunup bulunmadığına ve kararların gerçekten sorunuzla ilgili olup olmadığına bakın.
Ücretsiz deneme ya da ücretsiz bir plan sunulup sunulmadığını, ölçüm sonuçlarının sınırlarıyla birlikte yayınlanıp yayınlanmadığını da not edin. Sınırlarını açıkça yazan bir ölçüm, sınırsız bir vaatten daha çok şey anlatır.
6. İş akışınıza uyuyor mu?
- UYAP ile birlikte çalışabiliyor mu, yoksa her dosya için bilgileri elle mi taşımanız gerekiyor?
- Araştırma dışında dilekçe veya sözleşme taslağı gibi işlerde de kullanılabiliyor mu ve bu taslaklardaki atıflar da aynı kontrollerden geçiyor mu?
- Çıktıları düzenleyebileceğiniz bir biçimde dışa aktarabiliyor musunuz?
- Fiyatlar ve plan kapsamları açıkça yazılmış mı, istediğiniz zaman iptal edebiliyor musunuz?
Lexara'nın bu sorulara cevabı
Lexara'da karar künyesi dil modeli tarafından yazılmaz, veritabanındaki kayıttan gelir. Raporlardaki her atıf sunucu tarafında önce varlık, sonra içerik bakımından doğrulanır ve geçemeyen atıf rapordan çıkarılır. Korpus 11,3 milyon karar ve 80 bin mevzuat belgesinden oluşur; kanun, KHK ve Cumhurbaşkanlığı kararnamesi metinleri haftalık olarak resmî kaynakla karşılaştırılır. Kullanıcı sorguları ve yüklenen belgeler model eğitiminde kullanılmaz.
Ölçüm sonuçlarımızı ve bu ölçümün sınırlarını Nasıl çalışır sayfasında yayınladık. UYAP Avukat Portalı ile birlikte çalışan tarayıcı eklentimiz yayındadır. Kişisel verilerin işlenmesine ilişkin ayrıntılar KVKK aydınlatma metnindedir.
Sık sorulanlar
Hukuk yapay zekâ aracında en önemli ölçüt nedir?
Kararların bulunabilir ve doğru olmasıdır. Künyenin gerçek bir karar kaydından gelip gelmediğini ve atıfların hem varlık hem içerik bakımından doğrulanıp doğrulanmadığını sorun.
Bir aracın kararları doğru verip vermediğini nasıl test ederim?
Cevabını bildiğiniz bir soruyla deneyin. Dönen kararları resmî kaynakta kontrol edin; künyelerin tamamının bulunup bulunmadığına ve kararların sorunuzla gerçekten ilgili olup olmadığına bakın.
Müvekkil bilgisi içeren bir soruyu yapay zekâ aracına yazmak güvenli mi?
Bu, aracın veriyi nasıl işlediğine bağlıdır. Aydınlatma metninde işleme amaçlarını, saklama süresini, yurt dışına aktarım yapılıp yapılmadığını, kişisel verilerin maskelenip maskelenmediğini ve verilerin model eğitiminde kullanılıp kullanılmadığını kontrol edin.
Mevzuatın güncel olup olmadığını nasıl anlarım?
Sağlayıcıya güncellemenin ne sıklıkla ve hangi kaynaktan yapıldığını sorun. Ardından yakın zamanda değişen bir maddeyi sorarak aracın güncel metni kullanıp kullanmadığını kendiniz test edin.
Bu ölçütleri Lexara üzerinde de uygulayabilirsiniz: hazır örneklerde verilen kararların künyelerini ve alıntılarını kaynağında kontrol edin.