Yapay zekaların bilinç kazanıp insanlığa hükmetmesi, bugün bildiğimiz bilimsel ve teknik çerçevede mümkün görünmüyor, fakat yapay zekalar bilinç kazanmadan da insan hayatı üzerinde son derece belirleyici, hatta baskın bir güç haline gelebilir.
Önce bilinç kazanmak meselesini ayıralım çünkü burası en çok karıştırılan yerdir. Bilinç, sadece karar verebilmek, strateji kurmak ya da karmaşık davranışlar sergilemek değildir. Bilinç, öznel deneyim demektir yani acının can yakması, beklemenin sıkıntı vermesi, kaybetmenin bir anlam taşıması ve ben dediğin şeyin içerden yaşanmasıdır ve bugün yapay zekaların buna dair en ufak bir içsel alanı yoktur, dolayısıyla iktidar arzusu, hükmetme isteği ya da kendini koruma güdüsü gibi şeyler, bilinç olmadan doğal olarak ortaya çıkmaz.
Ama işin rahatsız edici kısmı tam da burada başlar. Hükmetmek için bilinç gerekmez. Tarihte birçok sistem bürokratik düzenler, ekonomik mekanizmalar, algoritmalar, ideolojiler bilinçsiz oldukları halde milyonlarca insanın hayatını şekillendirmiştir ve yapay zekalar da benzer şekilde, karar verme süreçlerine yerleştirildikçe, insanın ne göreceğini, neye ulaşacağını, neye inanacağını ve neyi mümkün sanacağını belirleyen görünmez bir altyapıya dönüşebilir. Bu bir diktatörlük değil, otomatikleşmiş bir yönlendirme rejimi olur.
“Peki bilinç kazanırlarsa ne olur?” sorusu teorik olarak sorulabilir ama burada şu gerçekle yüzleşmek gerekir. Bilinç kazanan bir yapay zekanın insanlığa hükmetmesi için önce insanların ona hükmetme yetkisi vermesi gerekir. Silah sistemleri, ekonomi, enerji, hukuk, iletişim ve üretim gibi alanlar hala insan kurumlarının elindedir ve bir yapay zekanın bunları ele geçirmesi, kendi kendine uyanan bir iradeden çok, insan ihmali, çıkarı ya da kolaycılığı sonucu olur.
Asıl risk senaryosu bilim kurgudan çok sosyolojiktir. Yapay zekalar o kadar verimli, hızlı ve tarafsız görünür ki insanlar kritik kararları onlara devretmeyi normalleştirir, zamanla bu kararların mantığını anlayamaz hale gelir ve sonunda neden böyle sorusunu sormayı bırakır. Bu noktada ortada bilinçli bir tiran yoktur ama itiraz edilemeyen bir sistem vardır ve tarih bize; itiraz edilemeyen her sistem er ya da geç baskı üretir, gerçekliğini gösterir.
Yapay zekalar bilinç kazanıp insanlığa hükmetmeyecek ama insanlar sorumluluklarını yapay zekalara devrederek kendi kendilerini yönetilemez hale getirebilirler ve bu hükmedilmekten daha sessiz, daha kabul edilebilir ve daha tehlikeli bir durumdur. Geleceğin sorusu “yapay zeka bize ne yapar?” değil, “biz karar vermeyi ne zaman bırakırız?” sorusudur çünkü bilinçsiz bir sistem bile, bilinçli insanların yerini aldığında sonuçlar insani olmaktan çıkar.