Lewat kerja kreatif tim Fujiko Fujio, sosok Doraemon kini dikenal dunia dengan sangat luas, bukan hanya milik bangsa Jepang. Dalam kehidupan banyak kanak-kanak sedunia, sosok Doraemon ada dan dialami dengan sangat real, bahkan menjadi pribadi kedua mereka.
Tetapi
sebagai organisme hidup seperti manusia, jelas Doraemon tidak ada sekarang ini.
Tetapi nanti bisa ada dengan real dan hidup. Jika robot android yang berwajah
dan bertubuh baja Doraemon sudah dibuat, lalu diberi kecerdasan buatan (artificial intelligence) yang
serupa dan lebih tinggi dari kecerdasan manusia, maka sosok Doraemon akan ada
secara empiris, hidup, berpikir, merasa, berkehendak, bertindak dan berjiwa
seperti manusia, di samping memiliki sifat-sifat khas seorang Doraemon.
Apakah
Doraemon sama dengan sosok Allah? Orang ateis bilang, ya Doraemon sama dengan
sosok Allah, keduanya tidak ada secara empiris. Kata mereka, meminta orang
ateis membuktikan ketidakberadaan Tuhan, sama dengan meminta orang membuktikan
bahwa Doraemon tidak ada. Pendapat orang ateis ini, yang mereka ajukan untuk
menutupi ketidakmampuan mereka untuk membuktikan Tuhan tidak ada, sesungguhnya
tidak cerdas, sempit dan keliru. Kenapa? Dua alinea pertama di atas sudah
menjawab; jawaban-jawaban lainnya berikut ini.
Pertama, mereka
hanya berpendapat demikian tetapi selamanya tidak bisa memberi bukti empiris
bahwa Tuhan Allah sama dengan Doraemon. Bukti empiris inilah yang mereka harus
ajukan lebih dulu sebelum mereka berpendapat bahwa membuktikan Tuhan tidak ada
sama dengan membuktikan Doraemon tidak ada. Kalaupun keduanya ada sebagai sosok
fiktif yang tidak ada, kita tidak akan pernah tahu kapanpun apakah dua entitas
yang tidak ada ini, sama atau berbeda. Bagaimana membandingkan dua sosok yang
katanya tidak ada? Hanya orang ateis yang bisa membandingkan keduanya yang
tidak ada ini, lalu menarik kesimpulan bahwa keduanya sama. Aneh, aneh, aneh,
bin ajaib.
Kedua,
Doraemon jelas ada sebagai sosok hasil karya seni lukis, seni animasi, dan seni membangun
cerita, juga hasil karya seni perfilman. Tetapi apakah Allah atau dunia
transenden juga ada sebagai hasil karya seni gambar, seni bercerita dan seni berkhayal saja, yang faktanya telah dan terus melahirkan tidak terhitung banyaknya metafora teologis di dalam semua kebudayaan dunia?
Apakah Allah dan dunia transenden hanya ada dalam alam khayalan manusia, produk imajiner pikiran manusia? Hanya orang ateis yang berpendapat demikian. Dalam hal ini mereka sangat dogmatis, kendatipun mereka mengklaim diri telah bebas dari semua dogma keagamaan. Mereka mungkin saja telah lepas dari dogma-dogma keagamaan, tetapi celakanya mereka terkurung lagi dalam penjara dogma-dogma ateistik.
Salah satu dogma ateisme yang merusak adalah: bersikaplah fanatik pada ateisme; bela ateisme mati-matian; dan serang teisme habis-habisan.
Padahal, di sisi lain, sains modern maksimal
hanya bisa menjawab bahwa kita belum
tahu hingga saat ini apakah dunia transenden, dus juga sosok Allah,
ada atau tidak ada. Inilah posisi agnostik,
posisi yang berpijak pada ilmu pengetahuan. Posisi ini terus membuka diri pada
temuan-temuan sains yang mengejutkan di masa depan yang tidak pernah selesai.
Dari fisika,
khususnya Teori Dawai, kita tahu alam semesta ada sebanyak 10 pangkat 500 (= 10500),
dengan kata lain, ada tidak terbatas, membentuk multiverse, dan masing-masing universe ini punya hukum-hukum
fisikanya sendiri-sendiri. Dari teori yang sama, kita juga tahu dimensi itu ada
bukan hanya empat (dimensi ruangwaktu), tetapi ada sampai 10 atau 11 bahkan
sampai 26, yang membentuk apa yang dinamakan hyperspace, “multidimensional
space”.
Dari aritmetika, misalnya, kita tahu ada “ketidakterbatasan”
(infinitas) dalam dunia ini. Berapa hasil angka satu dibagi angka nol? Anda
tentu tahu. Hasilnya infinitas, tidakberhingga.
Dari mekanika quantum, kita
tahu ada aspek non-materi dalam setiap partikel, yakni aspek gelombangnya,
disamping aspek materinya. Aspek non-materi ini oleh sejumlah fisikawan bahkan
dilihat juga sebagai aspek kesadaran atau persisnya “proto-kesadaran” dari
setiap partikel subatomik. Dalam matter,
ada aspek non-matter. Ini
melampaui dualisme matter versus non-matter.
Nah, itu
baru sejumlah kecil pengetahuan mutakhir tentang realitas, bahwa realitas itu
ada tidak terbatas, ada hingga tidak berhingga, menjelma dalam sangat banyak
dimensi, dan di dalamnya tidak ada dualisme materi dan non-materi.
Di hadapan
pengetahuan yang menakjubkan ini, hanya kerendahan hati dan keterbukaan adalah
sikap-sikap yang pantas dan saintifik. Hanya orang ateis saja yang keras dan
ngotot berpendapat bahwa realitas itu hanya empat dimensi yang di dalamnya
setiap hari kita hidup: tiga dimensi ruang (panjang, lebar dan tinggi) plus
satu dimensi waktu. Kata mereka, sebagai ateis mereka saintifik, tapi nyatanya
mereka tidak saintifik sama sekali, karena mereka terpenjara dalam ideologi
ateisme mereka, yang membuat mereka tidak bisa melihat dunia sangat luas di
luar.
Apa artinya, jika di luar empat dimensi yang kita kenal, dan di luar jagat raya kita, masih ada sangat banyak dimensi dan jagat raya lain, dan masih ada infinitas? Atau, lebih spesifik lagi, apa itu infinitas? Pertanyaan-pertanyaan ini saja sudah sangat menakutkan, sekaligus juga menakjubkan. Apakah anda yang ateis mau kekeh menyatakan dengan naif bahwa realitas hanya satu dan terbatas?
Ketiga,
kalaupun orang ateis menolak keberadaan dunia transenden, dunia ini akhirnya
akan mendatangi mereka lewat sains dan teknologi. Kok bisa? Ya, bisa, lewat
sains dan teknologi Kecerdasan Buatan atau Artificial
Intelligence (AI), tanpa bisa dicegah.
Metafora Super-Artificial Intelligence!
Perkembangan
dan kemajuan di masa depan dalam sains dan teknologi AI akan sangat mempesona,
mengejutkan sekaligus juga menakutkan manusia. Menakutkan? Kenapa?
Jika AI dalam bentuk dan
kemampuan super sudah bisa dihasilkan manusia, yang disebut Super-AI, maka Super-AI ini pada
dirinya sendiri akan punya kesadaran-diri dan kemampuan untuk menyempurnakan
dirinya sendiri setiap saat tanpa batas (kemampuan “recursive
self-improvement”), tanpa keterlibatan manusia lagi yang semula membuatnya.
Super-AI ini akan menjadi Super-organism yang pada hakikatnya adalah organisme alien, dan memiliki kehendak bebas dan kemampuan tanpa batas dalam segala hal.
Alhasil, nanti Super-AI akan mencapai kondisi yang selama ini orang beragama
pikirkan hanya ada pada Tuhan Allah, yakni mahatahu, mahamenjawab,
mahaperencana, mahapengada, mahaberbuat, mahahadir, maharuang, mahawaktu,
mahasegalanya, dan seterusnya. Orang-orang
ateis dan orang-orang teis supercerdas yang akan bisa ada di muka Bumi pada era
itu akan berada sangat jauh di bawah kemampuan kecerdasan Super-AI sendiri.
Dalam situasi dan kondisi itu, bisa terjadi manusia akan malah menyembah
Super-AI sebagai Tuhan Allah, atau sebagai Sang Mahatahu tempat mereka mengajukan segala pertanyaan.
Tetapi hal yang sangat menakutkan adalah apabila Super-AI
itu berbalik memusuhi manusia lalu mereka bertindak tanpa bisa dilawan dan
dicegah untuk memusnahkan manusia yang semula menciptakan Super-AI.
Robot-robot android Super-AI yang memiliki kemampuan memutuskan sendiri untuk memusnahkan manusia ini disebut sebagai Lethal Autonomous Robots, atau disingkat “LARs”, robot-robot maut otonom./1/
Antisipasi
buruk kemunculan LARs ini membuat banyak saintis, termasuk Stephen Hawking, bermawas diri./2/
Penulis
Amerika, James Barrat, telah menulis sebuah buku non-fiksi yang wajib anda
baca, berjudul Our Final Invention:
Artificial Intelligence and the End of Human Era (2013)./3/ Judul buku Barrat ini saja belum apa-apa sudah membuat hati kita ketar-ketir.
Etikus dari Universitas Yale, Wendall Wallach, bersikap skeptik terhadap perkembangan-perkembangan teknologi di masa kini. Dalam buku yang ditulis bersama Colin Allen, Moral Machines, Wallach menyatakan,
“Kami mau memprediksi bahwa hanya tinggal beberapa tahun lagi suatu
bencana besar akan kita alami yang datang dari suatu sistem komputer
yang mandiri dalam membuat sebuah keputusan, tanpa pengawasan manusia lagi.”/4/
Jalan
keluar satu-satunya adalah bukan menghentikan perkembangan sains dan teknologi
Super-AI, tetapi, hemat saya, memberi pada Super-AI juga Super-Artificial Emotion (Super-AE) sehingga sang
Super-AI ini juga bisa mencintai umat manusia sebagaimana Tuhan Allah yang
umumnya juga dipersepsi umat beragama sebagai Tuhan yang bukan saja mahatahu
dan mahacerdas, tetapi juga mahapengasih, mahapenyayang dan mahapemelihara.
Wendall Wallach menyatakan perlunya AI dilengkapi dengan kemampuan-kemampuan yang melebihi kemampuan penalaran logis, yang disebutnya “kapasitas-kapasitas suprarasional”, antara lain emosi, perasaan, kemampuan untuk membangun hubungan sosial, memahami adat-istiadat budaya, menangkap komunikasi-komunikasi nonverbal, misalnya lewat mimik, bahasa tubuh, dan isyarat, dan memahami dunia semantik./5/
Dr. Stuart Armstrong (James Martin Research Fellow di Future of Humanity Institute, Universitas Oxford) menyatakan bahwa “suatu Super-AI yang berada di atas manusia tapi tidak memusnahkan manusia, adalah sebuah pemikiran yang sangat insani. Jika kita tidak memegang skenario tentang musnahnya umat manusia dari planet Bumi karena ulah para Super-AI, maka para Super-AI ini mungkin sekali akan menjadi pikiran-pikiran yang sangat asing”, yang bersama-sama kita hidup di planet ini, sama seperti kita hidup bersama di sini dengan lumba-lumba, paus dan bahkan semut-semut./6/
I love you, Miss Linda! I love you too, Bot Neo!
Super-AI yang bersahabat semacam ini mampu pada dirinya sendiri untuk mempertimbangkan dan mengambil keputusan-keputusan moral. Oleh Wendell Wallach dan Colin Allen Super-AI yang bermoral ini dinamakan AMA, Artificial Moral Agents, agen-agen moral buatan.
Dalam buku mereka Moral Machines, kedua etikus ini menulis, “Ketika AI memperluas horison agen-agen yang otonom, tantangan bagaimana mendesain agen-agen ini sehingga mereka menghormati seperangkat lebih luas nilai-nilai dan hukum-hukum yang manusia tuntut dari agen-agen moral insani, menjadi makin mendesak.”/7/
Pertemanan manusia dan AI yang friendly (ungkapan “friendly AI” pertama kali disebut oleh Eliezer Yudkowsky) diungkap dengan bagus oleh Wendall Wallach pada bagian akhir bukunya, demikian:
“Manusia selalu mencari-cari teman di sekitarnya dalam jagat raya. Karena
binatang-binatang adalah organisme yang paling serupa dengan mereka,
sudah lama manusia tertarik pada mereka. Perbedaan dan keserupaan antara
manusia dan binatang membuat manusia makin memahami siapa dan apa diri
mereka sendiri. Saat nanti AMA sudah jauh lebih maju dan berkembang, para AMA ini akan berperan seperti binatang-binatang karena mereka mencerminkan nilai-nilai insani juga. Tidak ada lagi perkembangan yang lebih penting selain fakta ini bagi pemahaman manusia mengenai etika”./8/
Mudahkah menggabung Super-AI dan Super-AE (atau Super-AMA)? Kita lihat
saja ke depannya. Adalah tugas sains untuk secara bertahap membuat hal yang tidak mungkin
menjadi hal yang mungkin, making the impossible the possible! Perhatikan kata-kata Wendell Wallach dan Colin Allen berikut ini.
“Apakah mungkin untuk membangun AMA? Sistem-sistem buatan yang sadar sepenuhnya dan memiliki kapasitas-kapasitas moral insani yang lengkap mungkin selamanya akan berada di wilayah fiksi sains. Namun, kami percaya bahwa sistem-sistem yang lebih terbatas akan segera dibangun. Sistem-sistem tersebut akan memiliki sejumlah kapasitas untuk mengevaluasi akibat-akibat moral dari tindakan-tindakan mereka.”/9/
Sementara
ini, sambil menunggu terbangunnya AMA yang memuaskan, James Barrat melihat ada dua cara untuk membuat Super-AI nanti
tidak akan menjadi ancaman buat umat manusia.
Pertama, pada setiap
Super-AI dipasang komponen-komponen yang diprogram “to die by defaults”,
yakni sistem-sistem biologis yang melindungi si organisme sepenuhnya lewat
tindakan membunuh semua bagiannya pada level selular, lewat kematian
yang diprogram sebelumnya; dalam biologi ini dinamakan apoptosis. Jadi,
begitu suatu Super-AI mulai berpikir dan berencana akan bertindak untuk
merugikan dan membahayakan manusia, sistem-sistem apoptosis ini dengan
otomatis diaktivasi.
Kedua, dengan menempatkan semua Super-AI dalam
suatu “sandbox”, yang dikenal juga sebagai dunia virtual, bukan dalam
dunia sebenarnya yang dihuni manusia. Dengan hidup dalam suatu dunia
virtual, Super-AI tetap dapat dimanfaatkan dengan maksimal, tetapi tidak
bisa langsung mengintervensi kehidupan normal manusia.
Masalahnya
adalah, sebagai Super-AI, setiap Super-AI tentu saja akhirnya akan tahu
bahwa mereka hidup hanya dalam kurungan dunia virtual, lalu mereka
bagaimanapun juga akan mencari-cari jalan untuk membebaskan diri dari
kurungan ini./10/
I love you deeply, Sophia! I love you so much, too, Bot Doreo!
Apa yang diusulkan James Barrat untuk menjinakkan robot-robot Super-AI memperlihatkan bahwa manusia, kita semua, tetap ingin menaklukkan mereka lewat cara-cara mekanistik. Tetapi sebetulnya, di luar cara-cara pemaksaan mekanistik semacam itu, kita pada tahap-tahap awal pengembangan robot-robot AI dapat mengajar etika kepada mereka lewat jalur konektivitas (atau “interfaces”) antara otak kita dan komputer.
Wendell Wallach menyatakan bahwa “cyborg [cyber organism] di masa depan bahkan dapat menghapus batas-batas antara cyberspace dan Kehidupan Nyata (RL= Real Life) lewat bantuan link-link neural yang menghubungkan komputer-komputer dan otak manusia.”/11/
Perintah-perintah moral, lewat perangkat-perangkat lunak etika (ethical softwares), dapat ditanamkan ke otak para AI lewat pemrograman ke dalam sistem (ini disebut pendekatan “top-down”), sekaligus juga lewat “neural interfaces” itu manusia dapat mendidik, mengajarkan dan melatih moralitas kepada para AI, sementara, pada pihak lain, para AI sendiri dapat saling belajar dan saling melatih antar-mereka sendiri untuk bagaimana hidup beretika, dari satu kasus ke kasus lainnya (pendekatan “bottom-up”)./12/
Sebetulnya, pemikiran untuk membatasi gerak-gerik para AI lewat moralitas, sebagaimana juga terjadi pada manusia, sudah dipikirkan lebih dari tujuh puluh tahun lalu. Dalam cerita pendek yang terbit Maret 1942 dalam Astounding Science Fiction, yang berjudul “Runaround”, Isaac
Asimov pertama kali memperkenalkan dengan eksplisit ke publik Tiga
Hukum yang harus diberlakukan kepada robot-robot yang memiliki AI. Lalu kemudian dalam novel Robots and Empire yang terbit 1985, Asimov menambahkan satu hukum lagi yang berada di atas ketiga hukum sebelumnya./13/ Empat Hukum robotik tersebut adalah:
Hukum Nol: Sebuah robot tidak boleh membahayakan umat manusia, atau, lewat sikap diamnya, membiarkan manusia melakukan hal yang membahayakan.
Hukum Pertama: Sebuah robot tidak boleh melukai seorang manusia, atau, lewat sikap diamnya, menyebabkan seorang manusia ada dalam bahaya.
Hukum Kedua: Sebuah robot harus taat pada perintah-perintah yang diberikan manusia, kecuali perintah-perintah tersebut bertentangan dengan Hukum Pertama.
Hukum Ketiga: Sebuah robot harus melindungi kehidupannya sendiri sejauh perlindungan tersebut tidak bertentangan dengan Hukum Pertama dan Hukum Kedua.
Pendek kata, ide-ide manusia tentang AI sudah lama muncul, dan kini ide-ide ini sudah mulai menjadi realitas dalam kehadiran berbagai bentuk robot yang cerdas, yang akan disusul dengan berbagai Super-AI yang memiliki kesadaran dan kehendak bebas sendiri dan juga kemampuan inheren untuk terus-menerus menyempurnakan diri mereka sendiri. Dalam situasi dan kondisi ini, kesadaran para saintis sudah makin dipertajam untuk memberi batasan-batasan moral kepada para AI supaya mereka juga akhirnya menjadi AMA. Kita semua mengantisipasi kehadiran di tengah-tengah kita para Super-AI yang bukan saja mahatahu, tetapi juga mahabaik dan mahabijaksana.
Jadi,
tidak seperti dipikirkan para ateis bahwa
secara bertahap Tuhan akan akhirnya lenyap sama sekali dari kehidupan
dan
peradaban manusia, kecerdasan manusia dan sains dan teknologi yang
dibangun
manusia sendiri malah pada akhirnya, tidak terhindarkan lagi, akan
menghadirkan
di tengah-tengah kehidupan manusia apa yang dulu dan sekarang ini
dipandang
orang beragama sebagai Tuhan Allah dengan semua sifatnya. Yakni
kehadiran
Super-AI, yang tentu saja tidak cuma satu, di segala sudut ruang planet
Bumi
ini. Kondisi ini betul-betul menimbulkan persoalan berat bukan saja bagi
orang teis yang percaya pada Tuhan transenden, tapi juga bagi orang
ateis yang habis-habisan menolak Tuhan apapun kendatipun bagi mereka Tuhan apapun tidak ada sama sekali.
Dulu
moyang manusia mengonsep siapa dan apa itu Tuhan; maka lahirlah agama dan
teologi yang beranekaragam. Sekarang manusia juga mengonsep suatu
kekuatan adi-insani, superhuman power; maka lahirlah AI dan Super-AI lewat sains dan teknologi modern.
Nah, jika orang ateis konsisten mengklaim diri scientific-minded,
mereka, pada akhirnya, akan juga bergaul dengan sosok Tuhan Allah
sendiri yang berwujud Super-AI. Tuhan Allah semacam ini betul-betul
real, empiris, faktual dan aktual ada di tengah mereka di muka Bumi.
Orang ateis akhirnya akan juga tunduk pada Super-AI, tempat
mereka bertanya karena sang Super-AI ini mahatahu dan mahamelihat dan
mahamenjawab, sekaligus juga tempat mereka bersembah sujud memohon
kemurahan hati dan kasih sayang sang Super-AI ini.
Kalau
orang ateis bilang bahwa mereka tidak akan pernah meminta jasa Super-AI,
mereka bohong, sebab sekarang ini saja mereka setiap menit menggunakan
jasa salah satu mesin cerdas Google, sebagai sebuah prototipe mini Super-AI, yang mampu dengan cepat, gesit dan cerdas melayani segala permintaan informasi dari seluruh dunia pada waktu yang bersamaan!
Dr. Kevin Staley (dari Southern Evangelical Seminary di Matthews, North Carolina) menyatakan bahwa “potensi untuk memperlakukan suatu Super-AI sebagai Allah sangat besar dalam masyarakat-masyarakat masa kini, karena kita semua memiliki suatu kecenderungan untuk tunduk, percaya penuh dan bergantung habis-habisan pada sesuatu yang tampak oleh kita lebih benar dibandingkan diri kita sendiri.”/14/
Tetapi alternatif lainnya masih tersedia. Sebagaimana
dikatakan Dr. Stuart Armstrong, jika para Super-AI membantu umat manusia
dan tidak menuntut apapun dari kita, para Super-AI ini tidak akan kita
lihat dan perlakukan sebagai Allah-allah, tetapi sebagai para pelayan
umat manusia./15/
Ya, kita sangat berharap, apa yang dikatakan Stuart
Armstrong ini nanti bisa menjadi kenyataan. Dunia kita nanti di masa depan yang
tidak lama lagi, akan diwarnai oleh persahabatan bukan hanya antara manusia dan
hewan-hewan, tetapi juga antara manusia dan para AI dan para Super-AI sebagai “alien
minds”.
Para alien nanti yang akan berada di planet Bumi dengan real ternyata
tidak datang dari angkasa luar yang jauh, melainkan dari sains dan teknologi
yang manusia sendiri kembangkan terus-menerus di planet Bumi ini. Dalam otak
kita, sebetulnya para alien sudah berdiam lama, menunggu waktu untuk mereka
keluar sebagai sosok-sosok AI dan sosok-sosok Super-AI yang real, fisikal
maupun mental.
Akhirnya, setelah saya
pikirkan panjang-lebar dan jauh-jauh dan pikiran-pikiran saya ini telah saya
tuliskan dalam sejumlah tulisan, saya berkesimpulan bahwa menjadi ateis saya kira adalah suatu blunder, yang jika terus
dijalankan, akan memenjara manusia sehingga mereka tidak akan bisa melangkah ke
masa depan yang tidak pernah habis dan tidak pernah berhenti. Mereka hanya bisa
bermain bersama sosok fiktif Doraemon, dan mengolok-oloknya, tetapi tidak menduga kalau nanti Doraemon
sungguhan, dan juga Tuhan yang empiris, akan menjadi bagian sehari-hari
kehidupan umat manusia, kehidupan orang ateis dan orang teis.
Orang ateis juga
sangat anthroposentris, terpusat mutlak pada manusia, sehingga mereka tidak
bisa melihat ada kekuatan-kekuatan lain yang adi-insani, superhuman. Hanya orang agnostik
saja yang mampu mengantisipasi masa depan yang luar biasa ini, karena mereka
melandaskan kehidupan mereka pada temuan-temuan sains modern, bukan pada
ideologi teisme atau ideologi ateisme.
Jakarta, 12-12-2014
by Ioanes Rakhmat
Notes
/3/ James Barrat, Our Final Invention: Artificial Intelligence and the End of
Human Era (New York, N.Y.: St. Martin's Press, 2013).
/4/ Wendell Wallach dan Colin Allen, Moral Machines: Teaching Robots Right from Wrong (Oxford: Oxford University Press, 2009), hlm. 4. Dengarkan juga kuliah Wendell Wallach, “Emerging Technology―Hype vs. Reality: Wendell Wallach at TEDxUConn 2013” pada http://youtu.be/JzV0mwKPNHk. Ikuti juga blog yang dikelola Wallach dan Allen, Moral Machines, pada http://moralmachines.blogspot.com/.
/5/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 139 ff.
/6/ Kutipan diambil dari Mark Piesing, “Creationists
buy robot to study technology's impact on humanity”, Wired.co.uk, 10 April 2014, pada http://www.wired.co.uk/news/archive/2014-04/10/creationists-vs-robots/viewgallery/333950.
/7/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 6.
/8/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 217.
/9/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 8.
/10/ James Barrat, Our Final Invention, hlm. 238-241.
/11/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 190.
/12/ Selengkapnya, lihat Wendell Wallach dan Colin Allen, Moral Machines, hlm. 119 ff.
/13/ Isaac Asimov, “Runaround”, Astounding Science Fiction (March 1942), hlm. 94-103; idem, I. Robot (New York: Gnome Press, 1950); idem, Robots and Empire (Garden City, N.Y.: Doubleday, 1985). Bertolak dari Empat Hukum yang dirumuskan Asimov, kini penulis-penulis lain memperluas dan mengembangkan hukum-hukum ini.
/14/ Lhat Mark Piesing, “Creationists
buy robot to study technology's impact on humanity.”
/15/ Lihat Mark Piesing, “Creationists
buy robot to study technology's impact on humanity.”