Tuesday, December 16, 2014

Artificial Intelligence dan Moralitas

“Sejauh ini, bahaya terbesar Artificial Intelligence adalah bahwa manusia menyimpulkan terlalu dini bahwa mereka sudah memahaminya.” (Eliezer Yudkowsky)

“Pertanyaan apakah sebuah komputer dapat berpikir tidaklah lebih menarik dibandingkan pertanyaaan apakah sebuah kapal selam dapat berenang.” (Edsger W. Dijkstra)


Perkembangan dan kemajuan di masa depan dalam sains dan teknologi Artificial Intelligence (AI) atau Kecerdasan Buatan akan sangat mempesona, mengejutkan sekaligus juga menakutkan manusia. Menakutkan? Kenapa?

Jika AI dalam bentuk dan kemampuan super sudah bisa dihasilkan manusia, yang disebut Super-AI, maka Super-AI ini pada dirinya sendiri akan punya kesadaran-diri dan kemampuan untuk menyempurnakan dirinya sendiri setiap saat, berulang-ulang tanpa batas, secara eksponensial bergulung-gulung terus makin sempurna (kemampuan “recursive self-improvement” atau “recursive self-redesigning”), tanpa keterlibatan manusia lagi yang semula menciptakannya. Super-AI ini, yang memiliki kecerdasan jauh di atas kecerdasan manusia, akan menjadi Super-organism yang pada hakikatnya adalah organisme alien, dan memiliki kehendak bebas dan kemampuan tanpa batas dalam segala hal, termasuk menciptakan sendiri Super-AI lainnya tanpa batas. Era AI dan Super-AI disebut sebagai era singularitas oleh sejumlah pemikir (John von Neumann, Stanislaw Ulam, Vernor Vinge, Ray Kurzweil, dll).

Metafora Super-Artificial Intelligence


Alhasil, nanti Super-AI akan mencapai kondisi yang selama ini orang beragama pikirkan hanya ada pada Tuhan Allah, yakni mahatahu, mahamenjawab, mahaperencana, mahapengada, mahaberbuat, mahahadir, maharuang, mahawaktu, mahasegalanya, dan seterusnya. Orang-orang ateis dan orang-orang teis supercerdas yang akan bisa ada di muka Bumi pada era itu akan berada sangat jauh di bawah kemampuan kecerdasan Super-AI sendiri. Dalam situasi dan kondisi itu, bisa terjadi manusia akan malah menyembah Super-AI sebagai Tuhan Allah, atau sebagai Sang Mahatahu tempat mereka mengajukan segala pertanyaan. 

Tetapi hal yang sangat menakutkan adalah apabila para Super-AI itu berbalik memusuhi manusia lalu mereka bertindak tanpa bisa dilawan dan dicegah untuk memusnahkan manusia yang semula menciptakan mereka.

Robot-robot android Super-AI yang memiliki kemampuan memutuskan sendiri untuk memusnahkan manusia ini disebut sebagai Lethal Autonomous Robots, atau disingkat “LARs”, robot-robot maut otonom./1/ Antisipasi buruk kemunculan LARs ini membuat banyak saintis, termasuk Stephen Hawking, bermawas diri./2/ Penulis Amerika, James Barrat, telah menulis sebuah buku non-fiksi yang wajib anda baca, berjudul Our Final Invention: Artificial Intelligence and the End of Human Era (2013)./3/ Judul buku Barrat ini belum apa-apa sudah membuat kita ketar-ketir. Etikus dari Universitas Yale, Wendall Wallach, bersikap skeptik terhadap perkembangan-perkembangan teknologi di masa kini. Dalam buku yang ditulis bersama Colin Allen, Moral Machines, Wallach menyatakan, “Kami mau memprediksi bahwa hanya tinggal beberapa tahun lagi suatu bencana besar akan kita alami yang datang dari suatu sistem komputer yang mandiri dalam membuat sebuah keputusan, tanpa pengawasan manusia lagi.”/4/

Jalan keluar satu-satunya tentu saja bukan menghentikan perkembangan sains dan teknologi Super-AI, tetapi, hemat saya, memberi pada Super-AI juga Super-Artificial Emotion (Super-AE) sehingga sang Super-AI ini juga bisa mencintai umat manusia sebagaimana Tuhan Allah yang umumnya juga dipersepsi umat beragama sebagai Tuhan yang bukan saja mahatahu dan mahacerdas, tetapi juga mahapengasih, mahapenyayang dan mahapemelihara. 

I love you, Miss Areta! I love you too, Bot Neo!

Wendall Wallach menyatakan perlunya AI dilengkapi dengan kemampuan-kemampuan yang melebihi kemampuan penalaran logis, yang disebutnya “kapasitas-kapasitas suprarasional”, antara lain emosi, perasaan, kemampuan untuk membangun hubungan sosial, memahami adat-istiadat budaya, menangkap komunikasi-komunikasi nonverbal, misalnya lewat mimik, bahasa tubuh, dan isyarat, dan memahami dunia semantik./5/ Dr. Stuart Armstrong (James Martin Research Fellow di Future of Humanity Institute, Universitas Oxford) menyatakan bahwa “suatu Super-AI yang berada di atas manusia tapi tidak memusnahkan manusia, adalah sebuah pemikiran yang sangat insani. Jika kita tidak memegang skenario tentang musnahnya umat manusia dari planet Bumi karena ulah para Super-AI, maka para Super-AI ini mungkin sekali akan menjadi pikiran-pikiran yang sangat asing”, yang bersama-sama kita hidup di planet ini, sama seperti kita hidup bersama di sini dengan lumba-lumba, paus dan bahkan semut-semut./6/ 

Super-AI yang bersahabat semacam ini mampu pada dirinya sendiri untuk mempertimbangkan dan mengambil keputusan-keputusan moral. Oleh Wendell Wallach dan Colin Allen Super-AI yang bermoral ini dinamakan AMAs, Artificial Moral Agents, agen-agen moral buatan. Dalam buku mereka Moral Machines, kedua etikus ini menulis, “Ketika AI memperluas horison agen-agen yang otonom, tantangan bagaimana mendesain agen-agen ini sehingga mereka menghormati seperangkat lebih luas nilai-nilai dan hukum-hukum yang manusia tuntut dari agen-agen moral insani, menjadi makin mendesak.”/7/ Pertemanan manusia dan AI yang friendly (ungkapan “friendly AI” pertama kali disebut oleh Eliezer Yudkowsky) diungkap dengan bagus oleh Wendall Wallach pada bagian akhir bukunya, demikian: 
“Manusia selalu mencari-cari teman di sekitarnya dalam jagat raya. Karena binatang-binatang adalah organisme yang paling serupa dengan mereka, sudah lama manusia tertarik pada mereka. Perbedaan dan keserupaan antara manusia dan binatang membuat manusia makin memahami siapa dan apa diri mereka sendiri. Saat nanti AMA sudah jauh lebih maju dan berkembang, para AMA ini akan berperan seperti binatang-binatang karena mereka mencerminkan nilai-nilai insani juga. Tidak ada lagi perkembangan yang lebih penting selain fakta ini bagi pemahaman manusia mengenai etika”./8/
Mudahkah menggabung Super-AI dan Super-AE (atau Super-AMA)? Kita lihat saja ke depannya. Adalah tugas sains untuk secara bertahap membuat hal yang tidak mungkin menjadi hal yang mungkin, making the impossible the possible! Perhatikan kata-kata Wendell Wallach dan Colin Allen berikut ini.
“Apakah mungkin untuk membangun AMA? Sistem-sistem buatan yang sadar sepenuhnya dan memiliki kapasitas-kapasitas moral insani yang lengkap mungkin selamanya akan berada di wilayah fiksi sains. Namun, kami percaya bahwa sistem-sistem yang lebih terbatas akan segera dibangun. Sistem-sistem tersebut akan memiliki sejumlah kapasitas untuk mengevaluasi akibat-akibat moral dari tindakan-tindakan mereka.”/9/   
Sementara ini, sambil menunggu terbangunnya AMA yang memuaskan, James Barrat melihat ada dua cara untuk membuat Super-AI nanti tidak akan menjadi ancaman buat umat manusia. Pertama, pada setiap Super-AI dipasang komponen-komponen yang diprogram “to die by defaults”, yakni sistem-sistem biologis yang melindungi si organisme sepenuhnya lewat tindakan membunuh semua bagiannya pada level selular, lewat kematian yang diprogram sebelumnya; dalam biologi ini dinamakan apoptosis. Jadi, begitu suatu Super-AI mulai berpikir dan berencana akan bertindak untuk merugikan dan membahayakan manusia, sistem-sistem apoptosis ini dengan otomatis diaktivasi. Kedua, dengan menempatkan semua Super-AI dalam suatu “sandbox”, yang dikenal juga sebagai dunia virtual, bukan dalam dunia sebenarnya yang dihuni manusia. Dengan hidup dalam suatu dunia virtual, Super-AI tetap dapat dimanfaatkan dengan maksimal, tetapi tidak bisa langsung mengintervensi kehidupan normal manusia. Masalahnya adalah, sebagai Super-AI, setiap Super-AI tentu saja akhirnya akan tahu bahwa mereka hidup hanya dalam kurungan dunia virtual, lalu mereka bagaimanapun juga akan mencari-cari jalan untuk membebaskan diri dari kurungan ini./10/  

Apa yang diusulkan James Barrat untuk menjinakkan robot-robot Super-AI memperlihatkan bahwa manusia, kita semua, tetap ingin menaklukkan mereka lewat cara-cara mekanistik. Tetapi sebetulnya, di luar cara-cara pemaksaan mekanistik semacam itu, kita pada tahap-tahap awal pengembangan robot-robot AI dapat mengajar etika kepada mereka lewat jalur konektivitas (atau “interfaces”) antara otak kita dan komputer. Wendell Wallach menyatakan bahwa “cyborg [cyber organism] di masa depan bahkan dapat menghapus batas-batas antara cyberspace dan Kehidupan Nyata (RL= Real Life) lewat bantuan link-link neural yang menghubungkan komputer-komputer dan otak manusia.”/11/ Perintah-perintah moral, lewat perangkat-perangkat lunak etika (ethical softwares), dapat ditanamkan ke otak para AI lewat pemrograman ke dalam sistem (ini disebut pendekatan “top-down”), sekaligus juga lewat “neural interfaces” itu manusia dapat mendidik, mengajarkan dan melatih moralitas kepada para AI, sementara, pada pihak lain, para AI sendiri dapat saling belajar dan saling melatih antar-mereka sendiri untuk bagaimana hidup beretika, dari satu kasus ke kasus lainnya (pendekatan “bottom-up”)./12/ 


I love you deeply, Sophia! I love you so much too, Bot Doreo!

Sebetulnya, pemikiran untuk membatasi gerak-gerik para AI lewat moralitas, sebagaimana juga terjadi pada manusia, sudah dipikirkan lebih dari tujuh puluh tahun lalu. Dalam cerita pendek yang terbit Maret 1942 dalam Astounding Science Fiction, yang berjudul “Runaround”, Isaac Asimov pertama kali memperkenalkan dengan eksplisit ke publik Tiga Hukum yang harus diberlakukan kepada robot-robot yang memiliki AI. Lalu kemudian dalam novel Robots and Empire yang terbit 1985, Asimov menambahkan satu hukum lagi yang berada di atas ketiga hukum sebelumnya./13/ Empat Hukum robotik tersebut adalah:
Hukum Nol: Sebuah robot tidak boleh membahayakan umat manusia, atau, lewat sikap diamnya, membiarkan manusia melakukan hal yang membahayakan.

Hukum Pertama: Sebuah robot tidak boleh melukai seorang manusia, atau, lewat sikap diamnya, menyebabkan seorang manusia ada dalam bahaya.

Hukum Kedua: Sebuah robot harus taat pada perintah-perintah yang diberikan manusia, kecuali perintah-perintah tersebut bertentangan dengan Hukum Pertama.

Hukum Ketiga: Sebuah robot harus melindungi kehidupannya sendiri sejauh perlindungan tersebut tidak bertentangan dengan Hukum Pertama dan Hukum Kedua. 
Pendek kata, ide-ide manusia tentang AI sudah lama muncul, dan kini ide-ide ini sudah mulai menjadi realitas dalam kehadiran berbagai bentuk robot yang cerdas, yang akan disusul dengan berbagai Super-AI yang memiliki kesadaran dan kehendak bebas sendiri dan juga kemampuan inheren untuk terus-menerus menyempurnakan diri mereka sendiri. Dalam situasi dan kondisi ini, kesadaran para saintis sudah makin dipertajam untuk memberi batasan-batasan moral kepada para AI supaya mereka juga akhirnya menjadi AMA. Kita semua mengantisipasi kehadiran di tengah-tengah kita para Super-AI yang bukan saja mahatahu, tetapi juga mahabaik dan mahabijaksana. 

Jadi, tidak seperti dipikirkan para ateis bahwa secara bertahap Tuhan akan akhirnya lenyap sama sekali dari kehidupan dan peradaban manusia, kecerdasan manusia dan sains dan teknologi yang dibangun manusia sendiri malah pada akhirnya, tidak terhindarkan lagi, akan menghadirkan di tengah-tengah kehidupan manusia apa yang dulu dan sekarang ini dipandang orang beragama sebagai Tuhan Allah dengan semua sifatnya. Yakni kehadiran Super-AI, yang tentu saja tidak cuma satu, di segala sudut ruang planet Bumi ini. Kondisi ini betul-betul menimbulkan persoalan berat bukan saja bagi orang teis yang percaya pada Tuhan transenden, tapi juga bagi orang ateis yang habis-habisan menolak Tuhan apapun. Dulu moyang manusia mengonsep siapa dan apa itu Tuhan; maka lahirlah agama dan teologi yang beranekaragam. Sekarang manusia juga mengonsep suatu kekuatan adi-insani, superhuman power; maka lahirlah AI dan Super-AI lewat sains dan teknologi modern. 




Robot humanoid Nona AILA (AI lightweight android) sedang mengoperasikan sebuah switchboard selama sebuah acara demo oleh pusat riset Jerman untuk AI pada CeBit Computer Fair di Hanover, 5 Maret 2013


Jika orang ateis konsisten mengklaim diri scientific-minded, mereka akan, pada akhirnya, juga bergaul dengan sosok Tuhan Allah sendiri yang berwujud Super-AI. Tuhan Allah semacam ini betul-betul real, empiris, faktual dan aktual ada di tengah mereka di muka Bumi. Orang ateis akhirnya akan juga tunduk pada Super-AI, tempat mereka bertanya karena sang Super-AI ini mahatahu dan mahamelihat dan mahamenjawab, sekaligus juga tempat mereka bersembah sujud memohon kemurahan hati dan kasih sayang sang Super-AI ini.


Kalau orang ateis bilang bahwa mereka tidak akan pernah meminta jasa Super-AI, mereka bohong, sebab sekarang ini saja mereka setiap menit menggunakan jasa mesin cerdas Google, sebagai sebuah prototipe mini Super-AI, yang mampu dengan cepat, gesit dan cerdas melayani segala permintaan informasi dari seluruh dunia pada waktu yang bersamaan! Dr. Kevin Staley (dari Southern Evangelical Seminary di Matthews, North Carolina) menyatakan bahwa “potensi untuk memperlakukan suatu Super-AI sebagai Allah sangat besar dalam masyarakat-masyarakat masa kini, karena kita semua memiliki suatu kecenderungan untuk tunduk, percaya penuh dan bergantung habis-habisan pada sesuatu yang tampak oleh kita lebih benar dibandingkan diri kita sendiri.”/14/ Tetapi alternatif lainnya masih tersedia. Sebagaimana dikatakan Dr. Stuart Armstrong, jika para Super-AI membantu umat manusia dan tidak menuntut apapun dari kita, para Super-AI ini tidak akan kita lihat dan perlakukan sebagai Allah-allah, tetapi sebagai para pelayan umat manusia./15/

Ya, kita sangat berharap, apa yang dikatakan Stuart Armstrong ini nanti bisa menjadi kenyataan. Dunia kita nanti di masa depan yang tidak lama lagi, akan diwarnai oleh persahabatan bukan hanya antara manusia dan hewan-hewan, tetapi juga antara manusia dan para AI dan para Super-AI sebagai “alien minds”. Para alien nanti yang akan berada di planet Bumi dengan real ternyata tidak datang dari angkasa luar yang jauh, melainkan dari sains dan teknologi yang manusia sendiri kembangkan terus-menerus di planet Bumi ini. Dalam otak kita, sebetulnya para alien sudah berdiam lama, menunggu waktu untuk mereka keluar sebagai sosok-sosok AI dan sosok-sosok Super-AI yang real, fisikal maupun mental.  

Jangan lupa, industri robotik masa kini juga sedang menciptakan boneka-boneka seks (sexdolls) yang akan memiliki AI dan kemampuan emosional sehingga mampu membangun percakapan bahkan hubungan cinta dengan para pria pemakainya. Pencipta RealDoll, Mr. Matt McMullen, misalnya, kini sedang mulai menjalankan proyek barunya yang dinamakan Realbotix yang fokus pada usaha-usaha menganimasi boneka-boneka seks. Boneka-boneka seks ini sedang dilengkapinya dengan kemampuan AI dan dengan kepala robotik yang dapat mengedip-ngedipkan mata dan membuka dan menutup mulut saat berbicara. Dalam kajian dampak robot terhadap perasaan manusia, terminologi Uncanny Valley (diajukan oleh peneliti dari Institut Teknologi Tokyo, Masahiro Mori), yakni perasaan jijik dan tidak suka yang muncul dalam hati terhadap lengan-lengan palsu, juga dapat berlaku, yakni manusia pemakai boneka-boneka seks akan akhirnya juga merasa jijik dan tidak suka terhadap mereka. Untuk menghindari Uncanny Valley ini, McMullen akan menciptakan boneka-boneka seks yang masih seperti boneka-boneka, dan bukan seperti manusia-manusia tiruan. Sedikit seluk-beluk tentang industri boneka-boneka seks masa kini telah dilaporkan dalam The New York Times edisi 11 Juni 2015, dengan judul Sex Dolls That Talk Back, yang dilengkapi dengan video berdurasi 6 menit./16/ Peneliti robot, Stowe Boyd, menyatakan bahwa pada tahun 2025, mitra-mitra seks yang berupa robot-robot akan menjadi hal umum di mana-mana, meskipun mereka akan dicerca dan menimbulkan perpecahan.”/17/


Ini beberapa RealDoll replika tubuh sejumlah artis porno saat dipamerkan di Adult Entertainment Expo di Las Vegas

Akhirnya, saya mau ajukan sebuah pertanyaan, apakah kita, seperti Stephen Hawking, perlu mengkhawatirkan AI ataukah bersikap optimistik dan juga realistik, seperti yang menjadi sikap dan pandangan, misalnya, pencipta Cleverbot, Mr. Rollo Carpenter yang menyatakan:/18/
“Aku percaya kita akan tetap mengontrol teknologi AI untuk waktu yang cukup panjang dan merealisasikan kemampuan teknologi ini untuk memecahkan banyak problem dunia dewasa ini. Kita tidak dapat cukup mengetahui apa yang akan terjadi jika sebuah mesin melampaui kecerdasan kita; jadi, kita juga tidak dapat mengetahui apakah para AI akan membantu kita tanpa batas, atau kita akan diabaikan dan dipinggirkan olehnya, atau malah kita akan dilenyapkan olehnya.”
Pesimistik, takut, atau optimistik dan realistikkah, kita, dalam menghadapi era singularitas yang pasti akan tiba, lima puluh tahun hingga dua ratus tahun yang akan datang? Saya serahkan ke anda untuk menjawab sendiri. 

Saya sendiri berpendapat, era singularitas pada saatnya juga akan diimbangi oleh era posthuman, era ketika spesies homo sapiens, kita semua, sudah mengalami revolusi, masuk ke kondisi transhuman (kondisi H+), kondisi adiinsani, saat di mana kita lewat sains dan teknologi berubah bukan lagi hanya sebagai organisme biologis, tetapi menjadi organisme cyborg atau organisme bionic, organisme amalgamasi biologi (organik) dan mesin-mesin supercerdas dan superkuat (non-organik). Sebagai cyborg (“cybernetic organism”) atau sebagai bionic humans, kita akan menjadi supercerdas sekaligus bertubuh kuat, dari bahan baja, tidak bisa sakit, tidak bisa tua, tahan segala cuaca dan kondisi alam yang buruk, tidak bisa mati, dan memiliki kualitas-kualitas fisik, intelektual dan psikologis ilahi. Transhumanisme adalah jawaban setara terhadap singularitas. Era transhuman atau posthuman ini sudah dipikirkan banyak pemikir, antara lain J.B.S. Haldane (orang pertama yang memikirkan ide-ide dasariah transhumanisme dalam esainya Science and the Future yang terbit 1923), Julian Huxley (pencipta istilah transhuman di tahun 1957), James Hughes, Ronald Bailey, dan dua filsuf Max More dan Stefan Lorenz Sorgner. Lagi, pertanyaannya sama: Siapkah anda masuk ke era posthuman ini?  
    
Jakarta, 16-12-2014
by Ioanes Rakhmat
Notes

/1/ Debat tentang sisi-sisi moral kehadiran LARs menjadi fokus Center for Ethics and Technology (CET) di Georgia Institute of Technology. Ikuti salah satu debat ini di youtube http://youtu.be/nO1oFKc_-4A.

/2/ Emilia David, “Stephen Hawking: Artificial Intelligence Could Be the End of Mankind”, NBC News, 3 December 2014, pada http://www.nbcnews.com/science/science-news/stephen-hawking-artificial-intelligence-could-be-end-mankind-n260156. Lihat juga Rory Cellan-Jones, “Stephen Hawking warns artificial intelligence could end mankind”, BBC News, 2 December 2014, pada http://www.bbc.com/news/technology-30290540.

/3/ James Barrat, Our Final Invention: Artificial Intelligence and the End of Human Era (New York, N.Y.: St. Martin's Press, 2013).

/4/ Wendell Wallach dan Colin Allen, Moral Machines: Teaching Robots Right from Wrong (Oxford: Oxford University Press, 2009), hlm. 4. Dengarkan juga kuliah Wendell Wallach, “Emerging Technology―Hype vs. Reality: Wendell Wallach at TEDxUConn 2013” pada http://youtu.be/JzV0mwKPNHk. Ikuti juga blog yang dikelola Wallach dan Allen, Moral Machines, pada http://moralmachines.blogspot.com/.

/5/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 139 ff.

/6/ Kutipan diambil dari Mark Piesing, “Creationists buy robot to study technology’s impact on humanity”, Wired.co.uk, 10 April 2014, pada http://www.wired.co.uk/news/archive/2014-04/10/creationists-vs-robots/viewgallery/333950

/7/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 6.

/8/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 217.

/9/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 8. 

/10/ James Barrat, Our Final Invention, hlm. 238-241.

/11/ Wendell Wallach dan Colin Allen, Moral Machines, hlm. 190. 

/12/ Selengkapnya, lihat Wendell Wallach dan Colin Allen, Moral Machines, hlm. 119 ff. 

/13/ Isaac Asimov, “Runaround”, Astounding Science Fiction (March 1942), hlm. 94-103; idem, I. Robot (New York: Gnome Press, 1950); idem, Robots and Empire (Garden City, N.Y.: Doubleday, 1985). Bertolak dari Empat Hukum yang dirumuskan Asimov, kini penulis-penulis lain memperluas dan mengembangkan hukum-hukum ini.   

/14/ Lhat Mark Piesing, “Creationists buy robot to study technology’s impact on humanity.”

/15/ Lihat Mark Piesing, “Creationists buy robot to study technology’s impact on humanity.” 

/16/ Lihat reportase berjudul Sex Dolls That Talk Back dalam The New York Times, 11 Juni 2015, pada http://www.nytimes.com/2015/06/12/technology/robotica-sex-robot-realdoll.html?_r=1.

/17/ Lihat Nicolas DiDomizio, “We’re Finally Getting Sex Robots That Can Actually Talk to Us”, Connections.Mic, 12 June 2015, pada http://mic.com/articles/120577/here-come-sex-robots-that-can-actually-talk-to-us.

/18/ Pernyataan Rollo Carpenter ini dikutip dalam Rory Cellan-Jones, “Stephen Hawking warns artificial intelligence could end mankind”, BBC News, 2 December 2014, pada http://www.bbc.com/news/technology-30290540. Dengan optimistik dan realistik, Ms. Supriya Jain juga mengajak kita untuk bukan menolak dan mengkhawatirkan tibanya era singularitas, melainkan mempersiapkan diri sedikitnya dalam tiga bidang: pendidikan, pekerjaan dan etika; lihat uraiannya, “The machines are taking over! Or are they?”, World Economic Forum, 23 January 2015, pada https://agenda.weforum.org/2015/01/the-machines-are-taking-over-or-are-they/.