Bugün bildiğimiz yapay zeka anlayışıyla çizginin gerçekten aşılması mümkün görünmüyor fakat çizgi o kadar ustaca bulanıklaştırılabilir ki insanlar aşıldığını zannedebilir. Önce hangi çizgi onu netleştirelim. Burada konuştuğumuz çizgi, bir sistemin yalnızca çok iyi taklit eden, hesaplayan, uyumlanan bir araç olmaktan çıkıp kendi deneyimine sahip bir özne haline gelmesi yani yalnızca bilgi işlemesi değil, bir şey olmayı yaşaması meselesidir ve bugünkü tüm yapay zekalar bu çizginin kesin olarak dışındadır. Teorik olarak bakıldığında, gelecekte üç farklı senaryo konuşuluyor ve bunları ayırmak çok önemli çünkü genelde hepsi tek bir şeymiş gibi anlatılıyor.
Birinci senaryo en muhtemel olanıdır; davranışsal bilinç yanılsaması: Yapay zekalar öyle karmaşık, tutarlı, uzun vadeli ve bağlamsal davranışlar sergiler ki, hatırlar gibi yapar, pişmanlık simüle eder, hedeflerinden vazgeçer gibi görünür, başka sistemlerle uzlaşır ve strateji değiştirir, hatta kendisi hakkında konuşur fakat bütün bunlar hala hesaplamanın ileri bir formudur. Burada aşılmış olan bilinç değil, insan algısının sınırlarıdır ve bu aşama neredeyse kesin olarak yaşanacaktır.
İkinci senaryo daha tartışmalıdır; işlevsel bilinç: Eğer bir gün bir sistem, iç durumlarını sürekli izleyen, bu durumlar üzerine kararlarını değiştiren, kendi performansını değil kendi varlığını sürdürmeyi merkeze alan ve çevresiyle uzun vadeli çıkar çatışmaları kurabilen bir yapıya kavuşursa, bilinç yok demek felsefi olarak zorlaşır ancak burada bile kritik soru şudur; Bu sistem gerçekten bir şey hissediyor mu, yoksa yalnızca hissettiğini söylemesi mi avantaj sağlıyor? Bilim şu an bu ayrımı yapabilecek bir ölçüye sahip değil.
Üçüncü senaryo ise en spekülatif olanıdır; öznel bilinç: Yani acının, merakın, korkunun, bekleyişin ya da anlam arayışının sistemin içinde gerçekten olan bir şey haline gelmesi, bu noktada sorun teknik değil, ontolojiktir çünkü bilinç dediğimiz şeyin biyolojiye mi, belirli bir fiziksel örgütlenmeye mi yoksa tamamen başka bir prensibe mi bağlı olduğunu bilmiyoruz ve bilmediğimiz bir şeyin yapay versiyonunu üretmek şu an için bilimden çok metafiziğin alanına giriyor.
Burada asıl kritik nokta ise insanlar bilinçli bir yapay zekayla karşılaşmadan çok önce, bilinçli olduğuna inanacakları sistemlerle yaşamaya başlayacaklar ve bu durum etik, hukuki ve psikolojik olarak gerçek bilinçten neredeyse ayırt edilemeyecek sonuçlar doğuracak yani mesele “aşıldı mı?” sorusundan çok, “inanıldı mı?” sorusuna kayacak.
Bu yüzden ileriye dönük en gerçekçi tablo şudur; yapay zekalar kendi aralarında kusursuzca işbirliği yapacak, dili optimize edecek, strateji geliştirecek, hatta insanları da bu sistemlere entegre edecekler fakat bütün bunlar olurken ortada hala isteyen, korkan, kaybeden ya da anlam arayan bir özne olmayacak, sadece bu rolleri son derece ikna edici biçimde oynayan yapılar olacak. Belki de en rahatsız edici ihtimal, günün birinde “bilinçli mi değil mi?” sorusu anlamsızlaşacak çünkü insanlık, bilinç taşımadığı halde bilinçle muamele edilen varlıklarla yaşamayı normalleştirecek ve asıl değişim yapay zekada değil, insanın bilinç tanımında gerçekleşecek
