Ölçümler: Lexara'nın atıflarını nasıl test ediyoruz ve sonuçlar
Bir hukuk araştırma aracının güvenilir olduğunu söylemek kolaydır; bunu ölçüp sonucu sınırlarıyla birlikte yayınlamak daha az rastlanan bir şeydir. Bu sayfada neyi ölçtüğümüzü, nasıl ölçtüğümüzü, bulduğumuz sonuçları ve bu sonuçların neyi göstermediğini açıkça yazıyoruz.
Aşağıdaki rakamların tamamı 13 Eylül 2026 tarihinde canlı sistemden okunmuştur. Daha önce yayınladığımız bir ölçümle karşılaştırma yaptığımız yerde o ölçümün tarihini de belirtiyoruz.
Korpus
Ölçümlerin üzerinde yapıldığı veri kümesinin 13 Eylül 2026 itibarıyla büyüklüğü:
- Mahkeme kararı: 11.316.251 (Yargıtay, Danıştay, bölge adliye mahkemeleri, Anayasa Mahkemesi, Avrupa İnsan Hakları Mahkemesi, Sayıştay ve yerel mahkeme kararları).
- Mevzuat belgesi: 80.015 (metni eksiksiz olarak bulunan kayıtlar: kanun, KHK, Cumhurbaşkanlığı kararnamesi, yönetmelik, tebliğ ve kurul kararları).
4 Eylül 2026 tarihli önceki sayım (80.012 mevzuat belgesi): Nasıl çalışır
1. Künye varlık ölçümü: raporlardaki künyeler gerçekten var mı?
Bu ölçüm tek bir soruya cevap arar: Lexara'nın ürettiği raporlarda geçen bir Yargıtay veya Danıştay künyesi, karar veritabanında gerçekten karşılığı olan bir karara mı ait?
Son 30 gün (15 Ağustos – 13 Eylül 2026) sonucu:
- İncelenen Derin Araştırma raporu: 68
- Raporlarda geçen benzersiz künye (E./K. biçimli Yargıtay ve Danıştay künyeleri): 494
- Veritabanında karşılığı bulunan künye: 494 / 494 — bulunamayan künye: 0
- Daha sıkı kontrol — künyenin yanı sıra mahkemesi de eşleşen: 478 / 494 (%96,8)
Künye varlık ölçümünün yöntemi ve sınırları
Ne sayılır: Yayımlanan raporların kaynakça dipnotlarında ve metin içindeki parantezli atıflarda geçen esas numarası–karar numarası çiftleri çıkarılır ve karar veritabanında aranır. Aynı künye birden fazla raporda geçse de bir kez sayılır.
Hangi dönem: Ölçüm tarihinden geriye doğru son 30 günde üretilen raporlar.
Neyi göstermez: Bu ölçüm künyenin VARLIĞINI gösterir; kararın, rapordaki iddiayı ne kadar iyi desteklediğini ölçmez. Bu ikinci soru için aşağıdaki içerik örtüşme ölçümüne bakın.
Sıkı kontrolle ilgili açık bir sınır: mahkemesi de eşleşen 478 künyenin 317'sinde mahkeme adı rapor metninden okunamadı; bunlar yalnızca esas ve karar numarasının eşleşmesiyle sayıldı. Yani sıkı kontrol oranı, mahkeme adının açıkça yazıldığı atıflarda gerçek bir karşılaştırmaya, diğerlerinde künye eşleşmesine dayanır.
Kapsam dışı: Anayasa Mahkemesi bireysel başvuru numaraları ve mevzuat maddeleri E./K. biçiminde olmadığı için bu ölçüme girmez.
Ölçüm, kullanıcıya sunulan yayımlanmış raporlar üzerinden yapılır; dil modelinin ilk taslak çıktısı üzerinden değil.
Önceki ölçümle karşılaştırma
4 Eylül 2026 tarihinde aynı yöntemle, o tarihten geriye son 30 günü kapsayan ölçümde 104 raporda geçen 701 benzersiz künyenin tamamı veritabanında bulunmuştu; bulunamayan künye 0 idi. İki ölçümün dönemleri kısmen örtüşür, bu yüzden rakamları toplamak doğru olmaz.
2. İçerik örtüşme ölçümü: atıf, iddiayla örtüşüyor mu?
Bir künyenin var olması yeterli değildir; atıf yapılan kararın, raporda o karara dayandırılan iddiayla ilgili olması gerekir. Bu ölçüm bunun otomatik bir göstergesini üretir.
Son 30 gün (15 Ağustos – 13 Eylül 2026) sonucu:
- İncelenen rapor: 126
- İncelenen atıf–iddia çifti: 1.023
- İddiayı ayırt eden terimleri kararın tam metninde geçen: 932 (%91,1)
- Şüpheli olarak işaretlenen: 40 (%3,9)
- Ölçülemeyen: 51 (%5,0) — iddia çok genel olduğu ya da atıf "yukarıdaki karar" gibi dolaylı yapıldığı için
İçerik örtüşme ölçümünün yöntemi ve sınırları
Ne sayılır: Raporda bir karara dayandırılan her cümle için, o cümleyi ayırt eden terimlerin atıf yapılan kararın tam metninde geçip geçmediğine bakılır. Yeterince ayırt edici terim içermeyen genel cümleler ve dolaylı atıflar "ölçülemedi" olarak ayrılır.
Hangi dönem: Ölçüm tarihinden geriye doğru son 30 günde üretilen raporlar.
Neyi göstermez: Bu otomatik bir örtüşme ölçüsüdür. Terimlerin kararda geçmesi, kararın iddiayı gerçekten desteklediğini kanıtlamaz. Tersi de mümkündür: şüpheli olarak işaretlenen atıfların bir kısmı yanlış alarmdır. Bu ölçüm, dikkat edilmesi gereken atıfları öne çıkarmak içindir; bir atfın hukuken doğru kullanılıp kullanılmadığına dair nihai değerlendirme hukukçunundur.
3. Mevzuat güncelliği
Bayat mevzuat, fark edilmesi zor bir hatadır: değişmiş ya da iptal edilmiş bir hüküm, eski metniyle doğruymuş gibi görünür. Temel mevzuatı (kanun, KHK ve Cumhurbaşkanlığı kararnamesi) haftalık olarak resmî kaynakla karşılaştırıyoruz.
- 13 Eylül 2026 kontrolü: 1.003 belge tarandı.
- Güncellenen: 7 belge (yedi kanun) — Anayasa Mahkemesi iptal kararları ve bir Cumhurbaşkanı Kararı ile yapılan değişiklik işlendi.
- Hemen ardından yapılan ikinci kontrolde resmî kaynakla fark bulunmadı.
Mevzuat güncelliği kontrolünün yöntemi ve sınırları
Ne sayılır: Her belgenin güncel resmî metni, sistemdeki metinle karşılaştırılır; fark bulunan belge yeniden işlenir. İkinci kontrol, güncellemenin eksiksiz uygulandığını doğrulamak için yapılır.
Kapsam dışı: Yönetmelik, tebliğ ve kurul kararları bu haftalık karşılaştırmanın dışındadır. Bu sayım, güncellemenin yapıldığını gösterir; her değişikliğin yürürlük tarihini ve geçiş hükümlerini ayrıca değerlendirmek kullanıcıya düşer.
Henüz yayınlamadığımız ölçümler
Yukarıdaki ölçümler atıfların güvenilirliğini ve mevzuatın güncelliğini kapsar. Bir araştırma aracının değerini belirleyen başka sorular da vardır ve bunları henüz ölçüp yayınlamadık:
- Doğru ve emsal niteliğindeki kararı bulma başarısı.
- Karşıt içtihadı, yani sonucu değiştirebilecek aksi yöndeki kararları yakalama.
- Cevabın bir bütün olarak hukuki doğruluğu.
Bu ölçümleri nasıl yapmayı planlıyoruz
Bu üç soru otomatik olarak ölçülemez; hukukçuların puanladığı bir soru seti gerektirir. Yöntem taslağımız şudur: gerçek uygulamadan seçilmiş aynı zor sorular sabit tutulur, cevaplar hangi araçtan geldiği bilinmeden (kör) değerlendirilir ve sonuçlar, hatalar da dahil olmak üzere, yöntemiyle birlikte yayınlanır.
Sık sorulanlar
Bu rakamlar nereden geliyor?
Tamamı 13 Eylül 2026 tarihinde Lexara'nın canlı sisteminden okunmuştur. Künye ve içerik ölçümleri, o tarihten geriye son 30 günde kullanıcılara sunulan raporlar üzerinden yapılmıştır.
Künyelerin tamamının bulunması, raporların hatasız olduğu anlamına mı gelir?
Hayır. Künye varlık ölçümü yalnızca künyenin veritabanında karşılığı olan bir karara ait olduğunu gösterir. Kararın iddiayı gerçekten destekleyip desteklemediği ayrı bir sorudur; bunun otomatik göstergesi içerik örtüşme ölçümüdür ve o ölçümün de sınırları vardır. Dilekçeye girecek her kararı kaynağında görmenizi öneririz.
Şüpheli olarak işaretlenen atıflara ne oluyor?
Şüpheli işaret, iddiayı ayırt eden terimlerin atıf yapılan kararın metninde yeterince geçmediğini gösterir; kararın iddiayı desteklemediği anlamına tek başına gelmez ve işaretlerin bir kısmı yanlış alarmdır. Bu ölçüm yayımlanmış raporlar üzerinde sonradan yapılır. Rapor üretilirken ise atıflar ayrıca içerik kontrolünden geçer ve desteklenmeyen atıf rapordan çıkarılır; ayrıntısı Nasıl çalışır sayfasındadır.
Doğru kararı bulma başarısını neden yayınlamadınız?
Çünkü bu, hukukçular tarafından puanlanmış bir soru seti ve kör değerlendirme gerektirir; otomatik bir sayımla dürüstçe ölçülemez. Bu ölçümü yaptığımızda yöntemiyle ve hatalarıyla birlikte yayınlayacağız.
Atıfların nasıl üretildiğini ve doğrulandığını adım adım görmek için Nasıl çalışır sayfasına bakabilir, kayıt olmadan hazır örnekleri inceleyebilirsiniz.