Yapay zeka sistemleri bazen gerçekte var olmayan bir kitabı, hiç söylenmemiş bir sözü, yanlış bir tarihi veya uydurma bir bilimsel çalışmayı son derece ikna edici biçimde anlatabilir. Üstelik bunu yaparken tereddüt eden bir dil kullanmak yerine, bilginin kesin olduğuna dair güçlü bir izlenim de verebilir. Yapay zeka alanında bu durum genellikle halüsinasyon olarak adlandırılır. Ancak burada insanlardaki gibi gerçekten bir şey görmek, hayal etmek veya bilinçli biçimde yalan söylemek söz konusu değildir. Sorunun temelinde, yapay zekanın bilgiyi nasıl ürettiği vardır.
Büyük dil modelleri, kendilerine verilen bir sorunun cevabını bir veri tabanından birebir bulup aktaran klasik arama motorları gibi çalışmaz. Çok büyük miktarda metindeki dil örüntülerini öğrenir ve verilen bağlama göre sıradaki kelime veya ifadelerin ne olabileceğini tahmin ederek cevap oluştururlar. Bu nedenle sistem, gerçeğe uygun bir bilgi üretmekle kulağa son derece makul gelen bir cümle üretmek arasında her zaman kusursuz bir ayrım yapamayabilir. Örneğin gerçek bir yazarın adına benzeyen hayali bir kitap adı oluşturabilir veya var olan bilimsel bilgilerin parçalarını birleştirerek gerçekte bulunmayan bir araştırmadan söz edebilir.
Halüsinasyonların en dikkat çekici yönlerinden biri, yanlış bilginin çoğu zaman oldukça inandırıcı görünmesidir. Yapay zeka bir tarih, araştırmacı adı, mahkeme kararı veya kaynak oluşturduğunda bunları akademik ve düzenli bir dille sunabilir. İnsan zihni ise ayrıntılı, tutarlı ve kendinden emin anlatımları güvenilir kabul etmeye eğilim gösterebilir. Böylece problem yalnızca yanlış bilginin üretilmesi değil, yanlış bilginin doğru bilginin biçimini taklit edebilmesidir. Özellikle hukuk, sağlık, akademik araştırma ve tarih gibi doğruluğun kritik olduğu alanlarda kaynakların ayrıca kontrol edilmesi bu nedenle önem taşır.
Peki yapay zeka neden basitçe bilmiyorum demiyor? Çünkü dil modellerinin temel çalışma mantığı çoğu durumda verilen girdiye uygun bir çıktı üretmeye dayanır. Modelin yeterli bilgiye sahip olmadığı, sorunun belirsiz olduğu veya eğitim verilerindeki farklı bilgilerin birbirine karıştığı durumlarda bile anlamlı görünen bir cevap oluşturma eğilimi ortaya çıkabilir. Günümüzde geliştirilen sistemlerde kaynak kullanımı, web araması, harici araçlardan yararlanma ve belirsizliği daha iyi ifade etme gibi yöntemlerle bu sorun azaltılmaya çalışılsa da tamamen ortadan kalkmış değildir.
Yapay zekayla kurduğumuz ilişkide önemli bir ayrım ortaya çıkıyor. Akıcı konuşmak ile doğruyu bilmek aynı şey değildir. Bir yapay zeka cevabının son derece ayrıntılı, mantıklı ve profesyonel görünmesi, içindeki her bilginin doğru olduğunu garanti etmez. Yapay zekanın halüsinasyonları bize yalnızca teknolojinin bir sınırını değil, insanların bilgiye nasıl güvendiğiyle ilgili ilginç bir gerçeği de gösteriyor. Bazen bizi ikna eden şey bilginin doğruluğundan önce, ne kadar kendinden emin anlatıldığı olabilir.