Düzgün kurulmuş cümleler, içerdikleri bilginin doğrulandığını göstermez. Yapay zekâ yanıtını kullanmadan önce yapılacak kontrol, metnin ne kadar ikna edici göründüğünden ayrı ele alınmalıdır. En yararlı başlangıç, cevabın içinde hangi tür iddiaların bulunduğunu ayırmaktır: olgusal bilgi, hesaplama, kaynak atfı, yorum veya öneri.
Temsili görsel: Bilgisayar klavyesi üzerinde yazı yazan eller. Kaynak: Backlit keyboard.jpg; üretici: Colin; lisans: CC BY-SA 4.0. Atıf bildirimi: © User:Colin / Wikimedia Commons.
Kesin anlatımla doğruluğu birbirine bağlamayın
NIST’in üretken yapay zekâ risk profili, sistemlerin hatalı veya yanlış içeriği güvenli bir dille sunabilmesini bir risk olarak ele alır. Raporda gerçeğe dayanmayan kaynak ve gerekçelerin de yanıta eklenebileceği belirtilir. Bu nedenle açıklama ayrıntılı olduğunda bile içeriğin bağımsız denetime ihtiyacı ortadan kalkmaz.
Kontrol için önce kullanılacak kısmı seçin. Uzun cevabın tamamını aynı ağırlıkta incelemek yerine kararınızı etkileyen cümleleri işaretleyebilirsiniz. Bir ürünün özelliği, bir belgenin tarihi veya hesap sonucu gibi doğrulanabilir öğeleri ayrı satırlara çıkarın. Yorum niteliğindeki bölümleri bu listeye olgusal bilgi gibi yazmayın.
Kaynağın varlığıyla desteğini ayrı sınayın
Yanıtta bir bağlantı verilmişse adresi açın ve gerçekten hangi sayfaya gittiğini görün. Bir kurumun ana sayfasının açılması, ilgili iddiaya destek bulunduğu anlamına gelmez. Belgenin başlığını, yazar veya kurum bilgisini ve iddiayla ilgili bölümünü kontrol edin. Kaynağın gerçek olması ilk sorudur; söylenen cümleyi desteklemesi ikinci sorudur.
Yanıtta araştırma adı bulunuyorsa metindeki başlığın gerçekten var olup olmadığını araştırın. Varsa çalışmanın hangi soruyu, hangi veriyle ele aldığını okuyun. Bir bulgunun dar kapsamını geniş bir topluluk için genellemek, kaynak adı doğru olsa da yanıltıcı olabilir. Kaynağa ulaşılamıyorsa “atıf var” bilgisini “doğrulandı” durumuna çevirmeyin.
Hesabı metinden çıkarıp yeniden yapın
Varsayımsal bir örnekte yanıt 240 birimlik tutarın yüzde 15’ini hesaplıyorsa işlemi bağımsız olarak 240 × 0,15 biçiminde kurun. Sonuç 36’dır. Ancak doğru çarpma yapılması problemin doğru anlaşıldığını tek başına göstermez. Yüzdenin hangi tutara uygulanacağı ve sonucun neyi temsil ettiği de ayrıca kontrol edilmelidir.
Ölçü birimlerini satır üzerinde tutun. Gramla kilogramın, aylık tutarla yıllık tutarın veya oranla toplam sayının karışması sonuç görünüşte makulken bile hata yaratabilir. Hesap makinesinin çıktısı ile yanıtın kullandığı varsayımları ayrı inceleyin. Eksik veri varsa sistemden sayısal sonuç istemek yerine hangi bilginin eksik olduğunu belirleyin.
Tarih ve sürüm bilgisini görünür kılın
Yazılım menüsü, ürün özelliği veya yürürlük bilgisi zaman içinde değişebilir. Yanıt bunlardan birini anlatıyorsa ilgili üreticinin ya da kurumun güncel belgesine bakın. Eski bir kılavuzun doğru aktarılması, bugünkü sürüm için doğru yönlendirme yapıldığı anlamına gelmeyebilir. Kullanılan sürüm bilinmiyorsa bunu araştırma notunda açık bırakın.
Örneğin bir uygulama adımı denenecekse önce belgedeki adın kendi ekranınızdaki seçenekle eşleştiğini görün. Farklılık çıktığında hayalî bir ara menü varsayarak ilerlemeyin; kullanılan sürümü ve cihazı belirterek soruyu daraltın. Böylece sorun, genel bir yanlışlık hissinden araştırılabilir bir fark listesine dönüşür.
Kontrol sonucunu üç ayrı durumda tutun
İşaretlediğiniz cümleleri “desteklendi”, “çelişki bulundu” ve “henüz doğrulanamadı” olarak ayırabilirsiniz. Son durum yanlışlıkla doğruluğun veya yanlışlığın kanıtı gibi kullanılmamalıdır. Bir cümlede sorun bulunduğunda aynı kaynağa veya varsayıma dayanan diğer cümleleri de gözden geçirmek yararlı olur. Fakat tek hatadan bütün metin hakkında otomatik hüküm çıkarmayın.
Bir yapay zekâ sisteminden kendi cevabını yeniden incelemesini istemek yardımcı bir düzenleme olabilir; bağımsız doğrulamanın yerine geçmez. Aynı iddianın farklı biçimde tekrar edilmesi yeni kanıt oluşturmaz. Kontrolün dayanağı, gerektiğinde açılıp incelenebilen belge, yeniden yapılabilen hesap ve açıkça belirtilen kapsam olmalıdır.
Riskin genel çerçevesi NIST’in üretken yapay zekâ profilinde ele alınır. Kendi kontrol notunuzda doğrulanmış cümlelerle hâlâ açık kalan soruları ayırmak, yanıtın hangi bölümünün kullanılabileceğini daha görünür kılar.