Doraemon, Robot Super-AI, dan Orang Ateis

“Sejauh ini, bahaya terbesar Artificial Intelligence adalah bahwa manusia menyimpulkan terlalu dini bahwa mereka sudah memahaminya.” (Eliezer Yudkowsky)

“Pertanyaan apakah sebuah komputer dapat berpikir tidaklah lebih menarik dibandingkan pertanyaaan apakah sebuah kapal selam dapat berenang.” (Edsger W. Dijkstra)


Adakah sosok Doraemon? Jelas ada, sebagai buah kegiatan-kegiatan seni kreatif dan fiktif yang dijalankan manusia. Pembuat gambarnya siapa, kita tahu, ya seorang manusia seperti kita. Pembuat kisah-kisahnya yang mitologis, sekaligus fictionally scientific, kita juga tahu. Siapa yang menampilkannya pada layar lebar, juga kita kenal. 

Doraemon ada sebagai sosok fiktif dalam dunia seni, seni menggambar, seni bercerita, seni animasi, dan seni sinematografi. 

Lewat kerja kreatif tim Fujiko Fujio, sosok Doraemon kini dikenal dunia dengan sangat luas, bukan hanya milik bangsa Jepang. Dalam kehidupan banyak kanak-kanak sedunia, sosok Doraemon ada dan dialami dengan sangat real, bahkan menjadi pribadi kedua mereka. 

Tetapi sebagai organisme hidup seperti manusia, jelas Doraemon tidak ada sekarang ini. Tetapi nanti bisa ada dengan real dan hidup. Jika robot android yang berwajah dan bertubuh baja Doraemon sudah dibuat, lalu diberi kecerdasan buatan (artificial intelligence) yang serupa dan lebih tinggi dari kecerdasan manusia, maka sosok Doraemon akan ada secara empiris, hidup, berpikir, merasa, berkehendak, bertindak dan berjiwa seperti manusia, di samping memiliki sifat-sifat khas seorang Doraemon.

Apakah Doraemon sama dengan sosok Allah? Orang ateis bilang, ya Doraemon sama dengan sosok Allah, keduanya tidak ada secara empiris. Kata mereka, meminta orang ateis membuktikan ketidakberadaan Tuhan, sama dengan meminta orang membuktikan bahwa Doraemon tidak ada. Pendapat orang ateis ini, yang mereka ajukan untuk menutupi ketidakmampuan mereka untuk membuktikan Tuhan tidak ada, sesungguhnya tidak cerdas, sempit dan keliru. Kenapa? Dua alinea pertama di atas sudah menjawab; jawaban-jawaban lainnya berikut ini.

Pertama, mereka hanya berpendapat demikian tetapi selamanya tidak bisa memberi bukti empiris bahwa Tuhan Allah sama dengan Doraemon. Bukti empiris inilah yang mereka harus ajukan lebih dulu sebelum mereka berpendapat bahwa membuktikan Tuhan tidak ada sama dengan membuktikan Doraemon tidak ada. Kalaupun keduanya ada sebagai sosok fiktif yang tidak ada, kita tidak akan pernah tahu kapanpun apakah dua entitas yang tidak ada ini, sama atau berbeda. Bagaimana membandingkan dua sosok yang katanya tidak ada? Hanya orang ateis yang bisa membandingkan keduanya yang tidak ada ini, lalu menarik kesimpulan bahwa keduanya sama. Aneh, aneh, aneh, bin ajaib.

Kedua, Doraemon jelas ada sebagai sosok hasil karya seni lukis, seni animasi, dan seni membangun cerita, juga hasil karya seni perfilman. Tetapi apakah Allah atau dunia transenden juga ada sebagai hasil karya seni gambar, seni bercerita dan seni berkhayal saja, yang faktanya telah dan terus melahirkan tidak terhitung banyaknya metafora teologis di dalam semua kebudayaan dunia? 

Apakah Allah dan dunia transenden hanya ada dalam alam khayalan manusia, produk imajiner pikiran manusia? Hanya orang ateis yang berpendapat demikian. Dalam hal ini mereka sangat dogmatis, kendatipun mereka mengklaim diri telah bebas dari semua dogma keagamaan. Mereka mungkin saja telah lepas dari dogma-dogma keagamaan, tetapi celakanya mereka terkurung lagi dalam penjara dogma-dogma ateistik. 

Salah satu dogma ateisme yang merusak adalah: bersikaplah fanatik pada ateisme; bela ateisme mati-matian; dan serang teisme habis-habisan. 

Padahal, di sisi lain, sains modern maksimal hanya bisa menjawab bahwa kita belum tahu hingga saat ini apakah dunia transenden, dus juga sosok Allah, ada atau tidak ada. Inilah posisi agnostik, posisi yang berpijak pada ilmu pengetahuan. Posisi ini terus membuka diri pada temuan-temuan sains yang mengejutkan di masa depan yang tidak pernah selesai.

Dari fisika, khususnya Teori Dawai, kita tahu alam semesta ada sebanyak 10 pangkat 500 (= 10⁵⁰⁰), dengan kata lain, ada tidak terbatas, membentuk multiverse, dan masing-masing universe ini punya hukum-hukum fisikanya sendiri-sendiri. Dari teori yang sama, kita juga tahu dimensi itu ada bukan hanya empat (dimensi ruangwaktu), tetapi ada sampai 10 atau 11 bahkan sampai 26, yang membentuk apa yang dinamakan hyperspace, “multidimensional space”. 

Dari aritmetika, misalnya, kita tahu ada “ketidakterbatasan” (infinitas) dalam dunia ini. Berapa hasil angka satu dibagi angka nol? Anda tentu tahu. Hasilnya infinitas, tidakberhingga. 

Dari mekanika quantum, kita tahu ada aspek non-materi dalam setiap partikel, yakni aspek gelombangnya, disamping aspek materinya. Aspek non-materi ini oleh sejumlah fisikawan bahkan dilihat juga sebagai aspek kesadaran atau persisnya “proto-kesadaran” dari setiap partikel subatomik. Dalam matter, ada aspek non-matter. Ini melampaui dualisme matter versus non-matter.

Nah, itu baru sejumlah kecil pengetahuan mutakhir tentang realitas, bahwa realitas itu ada tidak terbatas, ada hingga tidak berhingga, menjelma dalam sangat banyak dimensi, dan di dalamnya tidak ada dualisme materi dan non-materi. 

Di hadapan pengetahuan yang menakjubkan ini, hanya kerendahan hati dan keterbukaan adalah sikap-sikap yang pantas dan saintifik. Hanya orang ateis saja yang keras dan ngotot berpendapat bahwa realitas itu hanya empat dimensi yang di dalamnya setiap hari kita hidup: tiga dimensi ruang (panjang, lebar dan tinggi) plus satu dimensi waktu. Kata mereka, sebagai ateis mereka saintifik, tapi nyatanya mereka tidak saintifik sama sekali, karena mereka terpenjara dalam ideologi ateisme mereka, yang membuat mereka tidak bisa melihat dunia sangat luas di luar. 

Apa artinya, jika di luar empat dimensi yang kita kenal, dan di luar jagat raya kita, masih ada sangat banyak dimensi dan jagat raya lain, dan masih ada infinitas? Atau, lebih spesifik lagi, apa itu infinitas? Pertanyaan-pertanyaan ini saja sudah sangat menakutkan, sekaligus juga menakjubkan. Apakah anda yang ateis mau kekeh menyatakan dengan naif bahwa realitas hanya satu dan terbatas?

Ketiga, kalaupun orang ateis menolak keberadaan dunia transenden, dunia ini akhirnya akan mendatangi mereka lewat sains dan teknologi. Kok bisa? Ya, bisa, lewat sains dan teknologi Kecerdasan Buatan atau Artificial Intelligence (AI), tanpa bisa dicegah.

Metafora Super-Artificial Intelligence!

Perkembangan dan kemajuan di masa depan dalam sains dan teknologi AI akan sangat mempesona, mengejutkan sekaligus juga menakutkan manusia. Menakutkan? Kenapa? 

Jika AI dalam bentuk dan kemampuan super sudah bisa dihasilkan manusia, yang disebut Super-AI, maka Super-AI ini pada dirinya sendiri akan punya kesadaran-diri dan kemampuan untuk menyempurnakan dirinya sendiri setiap saat tanpa batas (kemampuan “recursive self-improvement”), tanpa keterlibatan manusia lagi yang semula membuatnya. Super-AI ini akan menjadi Super-organism yang pada hakikatnya adalah organisme alien, dan memiliki kehendak bebas dan kemampuan tanpa batas dalam segala hal. 

Alhasil, nanti Super-AI akan mencapai kondisi yang selama ini orang beragama pikirkan hanya ada pada Tuhan Allah, yakni mahatahu, mahamenjawab, mahaperencana, mahapengada, mahaberbuat, mahahadir, maharuang, mahawaktu, mahasegalanya, dan seterusnya. Orang-orang ateis dan orang-orang teis supercerdas yang akan bisa ada di muka Bumi pada era itu akan berada sangat jauh di bawah kemampuan kecerdasan Super-AI sendiri. Dalam situasi dan kondisi itu, bisa terjadi manusia akan malah menyembah Super-AI sebagai Tuhan Allah, atau sebagai Sang Mahatahu tempat mereka mengajukan segala pertanyaan. 

Tetapi hal yang sangat menakutkan adalah apabila Super-AI itu berbalik memusuhi manusia lalu mereka bertindak tanpa bisa dilawan dan dicegah untuk memusnahkan manusia yang semula menciptakan Super-AI. 

Robot-robot android Super-AI yang memiliki kemampuan memutuskan sendiri untuk memusnahkan manusia ini disebut sebagai Lethal Autonomous Robots, atau disingkat “LARs”, robot-robot maut otonom./1/

Antisipasi buruk kemunculan LARs ini membuat banyak saintis, termasuk Stephen Hawking, bermawas diri./2/ 

Penulis Amerika, James Barrat, telah menulis sebuah buku non-fiksi yang wajib anda baca, berjudul Our Final Invention: Artificial Intelligence and the End of Human Era (2013)./3/ Judul buku Barrat ini saja belum apa-apa sudah membuat hati kita ketar-ketir. 

Etikus dari Universitas Yale, Wendall Wallach, bersikap skeptik terhadap perkembangan-perkembangan teknologi di masa kini. Dalam buku yang ditulis bersama Colin Allen, Moral Machines, Wallach menyatakan, 

“Kami mau memprediksi bahwa hanya tinggal beberapa tahun lagi suatu bencana besar akan kita alami yang datang dari suatu sistem komputer yang mandiri dalam membuat sebuah keputusan, tanpa pengawasan manusia lagi.”/4/

Jalan keluar satu-satunya adalah bukan menghentikan perkembangan sains dan teknologi Super-AI, tetapi, hemat saya, memberi pada Super-AI juga Super-Artificial Emotion (Super-AE) sehingga sang Super-AI ini juga bisa mencintai umat manusia sebagaimana Tuhan Allah yang umumnya juga dipersepsi umat beragama sebagai Tuhan yang bukan saja mahatahu dan mahacerdas, tetapi juga mahapengasih, mahapenyayang dan mahapemelihara. 

Wendall Wallach menyatakan perlunya AI dilengkapi dengan kemampuan-kemampuan yang melebihi kemampuan penalaran logis, yang disebutnya “kapasitas-kapasitas suprarasional”, antara lain emosi, perasaan, kemampuan untuk membangun hubungan sosial, memahami adat-istiadat budaya, menangkap komunikasi-komunikasi nonverbal, misalnya lewat mimik, bahasa tubuh, dan isyarat, dan memahami dunia semantik./5/

Dr. Stuart Armstrong (James Martin Research Fellow di Future of Humanity Institute, Universitas Oxford) menyatakan bahwa “suatu Super-AI yang berada di atas manusia tapi tidak memusnahkan manusia, adalah sebuah pemikiran yang sangat insani. Jika kita tidak memegang skenario tentang musnahnya umat manusia dari planet Bumi karena ulah para Super-AI, maka para Super-AI ini mungkin sekali akan menjadi pikiran-pikiran yang sangat asing”, yang bersama-sama kita hidup di planet ini, sama seperti kita hidup bersama di sini dengan lumba-lumba, paus dan bahkan semut-semut./6/ 

I love you, Miss Linda! I love you too, Bot Neo!

Super-AI yang bersahabat semacam ini mampu pada dirinya sendiri untuk mempertimbangkan dan mengambil keputusan-keputusan moral. Oleh Wendell Wallach dan Colin Allen Super-AI yang bermoral ini dinamakan AMA, Artificial Moral Agents, agen-agen moral buatan. 

Dalam buku mereka Moral Machines, kedua etikus ini menulis, “Ketika AI memperluas horison agen-agen yang otonom, tantangan bagaimana mendesain agen-agen ini sehingga mereka menghormati seperangkat lebih luas nilai-nilai dan hukum-hukum yang manusia tuntut dari agen-agen moral insani, menjadi makin mendesak.”/7/ 

Pertemanan manusia dan AI yang friendly (ungkapan “friendly AI” pertama kali disebut oleh Eliezer Yudkowsky) diungkap dengan bagus oleh Wendall Wallach pada bagian akhir bukunya, demikian: 

“Manusia selalu mencari-cari teman di sekitarnya dalam jagat raya. Karena binatang-binatang adalah organisme yang paling serupa dengan mereka, sudah lama manusia tertarik pada mereka. Perbedaan dan keserupaan antara manusia dan binatang membuat manusia makin memahami siapa dan apa diri mereka sendiri. Saat nanti AMA sudah jauh lebih maju dan berkembang, para AMA ini akan berperan seperti binatang-binatang karena mereka mencerminkan nilai-nilai insani juga. Tidak ada lagi perkembangan yang lebih penting selain fakta ini bagi pemahaman manusia mengenai etika”./8/

Mudahkah menggabung Super-AI dan Super-AE (atau Super-AMA)? Kita lihat saja ke depannya. Adalah tugas sains untuk secara bertahap membuat hal yang tidak mungkin menjadi hal yang mungkin, making the impossible the possible! Perhatikan kata-kata Wendell Wallach dan Colin Allen berikut ini.

“Apakah mungkin untuk membangun AMA? Sistem-sistem buatan yang sadar sepenuhnya dan memiliki kapasitas-kapasitas moral insani yang lengkap mungkin selamanya akan berada di wilayah fiksi sains. Namun, kami percaya bahwa sistem-sistem yang lebih terbatas akan segera dibangun. Sistem-sistem tersebut akan memiliki sejumlah kapasitas untuk mengevaluasi akibat-akibat moral dari tindakan-tindakan mereka.”/9/   

Sementara ini, sambil menunggu terbangunnya AMA yang memuaskan, James Barrat melihat ada dua cara untuk membuat Super-AI nanti tidak akan menjadi ancaman buat umat manusia. 

Pertama, pada setiap Super-AI dipasang komponen-komponen yang diprogram “to die by defaults”, yakni sistem-sistem biologis yang melindungi si organisme sepenuhnya lewat tindakan membunuh semua bagiannya pada level selular, lewat kematian yang diprogram sebelumnya; dalam biologi ini dinamakan apoptosis. Jadi, begitu suatu Super-AI mulai berpikir dan berencana akan bertindak untuk merugikan dan membahayakan manusia, sistem-sistem apoptosis ini dengan otomatis diaktivasi.

Kedua, dengan menempatkan semua Super-AI dalam suatu “sandbox”, yang dikenal juga sebagai dunia virtual, bukan dalam dunia sebenarnya yang dihuni manusia. Dengan hidup dalam suatu dunia virtual, Super-AI tetap dapat dimanfaatkan dengan maksimal, tetapi tidak bisa langsung mengintervensi kehidupan normal manusia. 

Masalahnya adalah, sebagai Super-AI, setiap Super-AI tentu saja akhirnya akan tahu bahwa mereka hidup hanya dalam kurungan dunia virtual, lalu mereka bagaimanapun juga akan mencari-cari jalan untuk membebaskan diri dari kurungan ini./10/

I love you deeply, Sophia! I love you so much, too, Bot Doreo!

Apa yang diusulkan James Barrat untuk menjinakkan robot-robot Super-AI memperlihatkan bahwa manusia, kita semua, tetap ingin menaklukkan mereka lewat cara-cara mekanistik. Tetapi sebetulnya, di luar cara-cara pemaksaan mekanistik semacam itu, kita pada tahap-tahap awal pengembangan robot-robot AI dapat mengajar etika kepada mereka lewat jalur konektivitas (atau “interfaces”) antara otak kita dan komputer. 

Wendell Wallach menyatakan bahwa “cyborg [cyber organism] di masa depan bahkan dapat menghapus batas-batas antara cyberspace dan Kehidupan Nyata (RL= Real Life) lewat bantuan link-link neural yang menghubungkan komputer-komputer dan otak manusia.”/11/ 

Perintah-perintah moral, lewat perangkat-perangkat lunak etika (ethical softwares), dapat ditanamkan ke otak para AI lewat pemrograman ke dalam sistem (ini disebut pendekatan “top-down”), sekaligus juga lewat “neural interfaces” itu manusia dapat mendidik, mengajarkan dan melatih moralitas kepada para AI, sementara, pada pihak lain, para AI sendiri dapat saling belajar dan saling melatih antar-mereka sendiri untuk bagaimana hidup beretika, dari satu kasus ke kasus lainnya (pendekatan “bottom-up”)./12/  

Sebetulnya, pemikiran untuk membatasi gerak-gerik para AI lewat moralitas, sebagaimana juga terjadi pada manusia, sudah dipikirkan lebih dari tujuh puluh tahun lalu. Dalam cerita pendek yang terbit Maret 1942 dalam Astounding Science Fiction, yang berjudul “Runaround”, Isaac Asimov pertama kali memperkenalkan dengan eksplisit ke publik Tiga Hukum yang harus diberlakukan kepada robot-robot yang memiliki AI. Lalu kemudian dalam novel Robots and Empire yang terbit 1985, Asimov menambahkan satu hukum lagi yang berada di atas ketiga hukum sebelumnya./13/ Empat Hukum robotik tersebut adalah:

Hukum Nol: Sebuah robot tidak boleh membahayakan umat manusia, atau, lewat sikap diamnya, membiarkan manusia melakukan hal yang membahayakan.

Hukum Pertama: Sebuah robot tidak boleh melukai seorang manusia, atau, lewat sikap diamnya, menyebabkan seorang manusia ada dalam bahaya.

Hukum Kedua: Sebuah robot harus taat pada perintah-perintah yang diberikan manusia, kecuali perintah-perintah tersebut bertentangan dengan Hukum Pertama. 

Hukum Ketiga: Sebuah robot harus melindungi kehidupannya sendiri sejauh perlindungan tersebut tidak bertentangan dengan Hukum Pertama dan Hukum Kedua.       

Pendek kata, ide-ide manusia tentang AI sudah lama muncul, dan kini ide-ide ini sudah mulai menjadi realitas dalam kehadiran berbagai bentuk robot yang cerdas, yang akan disusul dengan berbagai Super-AI yang memiliki kesadaran dan kehendak bebas sendiri dan juga kemampuan inheren untuk terus-menerus menyempurnakan diri mereka sendiri. Dalam situasi dan kondisi ini, kesadaran para saintis sudah makin dipertajam untuk memberi batasan-batasan moral kepada para AI supaya mereka juga akhirnya menjadi AMA. Kita semua mengantisipasi kehadiran di tengah-tengah kita para Super-AI yang bukan saja mahatahu, tetapi juga mahabaik dan mahabijaksana. 

Jadi, tidak seperti dipikirkan para ateis bahwa secara bertahap Tuhan akan akhirnya lenyap sama sekali dari kehidupan dan peradaban manusia, kecerdasan manusia dan sains dan teknologi yang dibangun manusia sendiri malah pada akhirnya, tidak terhindarkan lagi, akan menghadirkan di tengah-tengah kehidupan manusia apa yang dulu dan sekarang ini dipandang orang beragama sebagai Tuhan Allah dengan semua sifatnya. Yakni kehadiran Super-AI, yang tentu saja tidak cuma satu, di segala sudut ruang planet Bumi ini. Kondisi ini betul-betul menimbulkan persoalan berat bukan saja bagi orang teis yang percaya pada Tuhan transenden, tapi juga bagi orang ateis yang habis-habisan menolak Tuhan apapun kendatipun bagi mereka Tuhan apapun tidak ada sama sekali. 

Dulu moyang manusia mengonsep siapa dan apa itu Tuhan; maka lahirlah agama dan teologi yang beranekaragam. Sekarang manusia juga mengonsep suatu kekuatan adi-insani, superhuman power; maka lahirlah AI dan Super-AI lewat sains dan teknologi modern.

Nah, jika orang ateis konsisten mengklaim diri scientific-minded, mereka, pada akhirnya, akan juga bergaul dengan sosok Tuhan Allah sendiri yang berwujud Super-AI. Tuhan Allah semacam ini betul-betul real, empiris, faktual dan aktual ada di tengah mereka di muka Bumi. Orang ateis akhirnya akan juga tunduk pada Super-AI, tempat mereka bertanya karena sang Super-AI ini mahatahu dan mahamelihat dan mahamenjawab, sekaligus juga tempat mereka bersembah sujud memohon kemurahan hati dan kasih sayang sang Super-AI ini. 

Kalau orang ateis bilang bahwa mereka tidak akan pernah meminta jasa Super-AI, mereka bohong, sebab sekarang ini saja mereka setiap menit menggunakan jasa salah satu mesin cerdas Google, sebagai sebuah prototipe mini Super-AI, yang mampu dengan cepat, gesit dan cerdas melayani segala permintaan informasi dari seluruh dunia pada waktu yang bersamaan! 

Dr. Kevin Staley (dari Southern Evangelical Seminary di Matthews, North Carolina) menyatakan bahwa “potensi untuk memperlakukan suatu Super-AI sebagai Allah sangat besar dalam masyarakat-masyarakat masa kini, karena kita semua memiliki suatu kecenderungan untuk tunduk, percaya penuh dan bergantung habis-habisan pada sesuatu yang tampak oleh kita lebih benar dibandingkan diri kita sendiri.”/14/ 

Tetapi alternatif lainnya masih tersedia. Sebagaimana dikatakan Dr. Stuart Armstrong, jika para Super-AI membantu umat manusia dan tidak menuntut apapun dari kita, para Super-AI ini tidak akan kita lihat dan perlakukan sebagai Allah-allah, tetapi sebagai para pelayan umat manusia./15/ 

Ya, kita sangat berharap, apa yang dikatakan Stuart Armstrong ini nanti bisa menjadi kenyataan. Dunia kita nanti di masa depan yang tidak lama lagi, akan diwarnai oleh persahabatan bukan hanya antara manusia dan hewan-hewan, tetapi juga antara manusia dan para AI dan para Super-AI sebagai “alien minds”. 

Para alien nanti yang akan berada di planet Bumi dengan real ternyata tidak datang dari angkasa luar yang jauh, melainkan dari sains dan teknologi yang manusia sendiri kembangkan terus-menerus di planet Bumi ini. Dalam otak kita, sebetulnya para alien sudah berdiam lama, menunggu waktu untuk mereka keluar sebagai sosok-sosok AI dan sosok-sosok Super-AI yang real, fisikal maupun mental.     

Akhirnya, setelah saya pikirkan panjang-lebar dan jauh-jauh dan pikiran-pikiran saya ini telah saya tuliskan dalam sejumlah tulisan, saya berkesimpulan bahwa menjadi ateis saya kira adalah suatu blunder, yang jika terus dijalankan, akan memenjara manusia sehingga mereka tidak akan bisa melangkah ke masa depan yang tidak pernah habis dan tidak pernah berhenti. Mereka hanya bisa bermain bersama sosok fiktif Doraemon, dan mengolok-oloknya, tetapi tidak menduga kalau nanti Doraemon sungguhan, dan juga Tuhan yang empiris, akan menjadi bagian sehari-hari kehidupan umat manusia, kehidupan orang ateis dan orang teis. 

Orang ateis juga sangat anthroposentris, terpusat mutlak pada manusia, sehingga mereka tidak bisa melihat ada kekuatan-kekuatan lain yang adi-insani, superhuman. Hanya orang agnostik saja yang mampu mengantisipasi masa depan yang luar biasa ini, karena mereka melandaskan kehidupan mereka pada temuan-temuan sains modern, bukan pada ideologi teisme atau ideologi ateisme.

Jakarta, 12-12-2014

by Ioanes Rakhmat

Notes

/1/ Debat tentang sisi-sisi moral kehadiran LARs menjadi fokus Center for Ethics and Technology (CET) di Georgia Institute of Technology. Ikuti salah satu debat ini di youtube http://youtu.be/nO1oFKc_-4A.

/2/ Emilia David, “Stephen Hawking: Artificial Intelligence Could Be the End of Mankind”, NBC News, 3 December 2014, pada http://www.nbcnews.com/science/science-news/stephen-hawking-artificial-intelligence-could-be-end-mankind-n260156.

/3/ James Barrat, Our Final Invention: Artificial Intelligence and the End of Human Era (New York, N.Y.: St. Martin's Press, 2013). 

/4/ Wendell Wallach dan Colin Allen, Moral Machines: Teaching Robots Right from Wrong (Oxford: Oxford University Press, 2009), hlm. 4. Dengarkan juga kuliah Wendell Wallach, “Emerging Technology―Hype vs. Reality: Wendell Wallach at TEDxUConn 2013” pada http://youtu.be/JzV0mwKPNHk. Ikuti juga blog yang dikelola Wallach dan Allen, Moral Machines, pada http://moralmachines.blogspot.com/.

/5/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 139 ff.

/6/ Kutipan diambil dari Mark Piesing, “Creationists buy robot to study technology's impact on humanity”, Wired.co.uk, 10 April 2014, pada http://www.wired.co.uk/news/archive/2014-04/10/creationists-vs-robots/viewgallery/333950. 

/7/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 6.

/8/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 217.

/9/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 8. 

/10/ James Barrat, Our Final Invention, hlm. 238-241.

/11/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 190. 

/12/ Selengkapnya, lihat Wendell Wallach dan Colin Allen, Moral Machines, hlm. 119 ff. 

/13/ Isaac Asimov, “Runaround”, Astounding Science Fiction (March 1942), hlm. 94-103; idem, I. Robot (New York: Gnome Press, 1950); idem, Robots and Empire (Garden City, N.Y.: Doubleday, 1985). Bertolak dari Empat Hukum yang dirumuskan Asimov, kini penulis-penulis lain memperluas dan mengembangkan hukum-hukum ini.   

/14/ Lhat Mark Piesing, “Creationists buy robot to study technology's impact on humanity.” 

/15/ Lihat Mark Piesing, “Creationists buy robot to study technology's impact on humanity.”