Superintelligence

Superintelligence: Paths, Dangers, Strategies oleh Nick Bostrom, yang diterbitkan pada tahun 2014, merupakan karya asas dalam bidang Risiko Eksistensial AI. Penulis, seorang ahli falsafah dari Oxford, berpendapat bahawa apabila kecerdasan buatan mencapai tahap manusia, ia akan dengan pantas mengatasi kita dan menjadi sebuah 'Superintelligence.' Buku ini menawarkan rangka kerja Teori Keputusan yang ketat untuk menyelesaikan 'Masalah Kawalan'—iaitu cabaran memastikan sistem yang jauh lebih mampu kekal di bawah kawalan manusia.

Metodologi dalam karya ini mengenal pasti beberapa Senario Lepasan (perlahan vs. pantas) dan konsep 'Keuntungan Strategik Decisif.' Bostrom menerangkan pentingnya Oracles, Genies, dan Sovereigns sebagai pelbagai jenis agensi AI. Beliau memperkenalkan Teori Orthogonality—iaitu idea bahawa AI boleh mempunyai tahap kecerdasan apa sahaja digabungkan dengan pelbagai matlamat—serta menyediakan teknik untuk 'Memuat Nilai.' Fokus utama adalah beralih dari 'Andaian Optimis' kepada Pengurangan Risiko Ketat bagi peristiwa paling bersejarah dalam sejarah manusia.

Ini adalah bacaan wajib untuk penyelidik keselamatan AI, penasihat keselamatan negara, dan CEO teknologi. Pembaca akan memperolehi kefahaman mendalam mengenai Kerentanan Sistemik. Aplikasi praktikal termasuk menggunakan 'Langkah Keselamatan Berinspirasikan Insentif' dan melaksanakan protokol Koordinasi Global untuk mencegah perlumbaan senjata yang berbahaya dalam pembangunan AI. Dengan memahami logik Bostrom, para pemimpin dapat menghargai skala perubahan strategik yang diperlukan untuk memimpin spesies melalui transisi ke era superintelligent.