Judul “Three Big Three in Deep Learning” tentu sudah tidak asing lagi bagi pembaca di masa kebangkitan AI. Namun di antara talenta pembelajaran mendalam, kriteria evaluasi apa yang digunakan untuk memilih Hinton, Yann Lecun, dan Yoshua Bengio sebagai raksasa? Tidak ada kompetisi, debat, atau peringkat.Judul ini ditentukan oleh reporter paling terkenal di bidang AI, Cade Metz, sejak 18 tahun lalu.
Sebagai penulis senior majalah "Wired", kepala penulis kolom kecerdasan buatan "New York Times", dan penulis "Deep Learning Revolution", Cade Metz pada dasarnya mewawancarai semua pakar terkenal di bidang AI selama lebih dari sepuluh tahun. pengalaman kerja, Sam Altman berkonsultasi dengannya sebelum meluncurkan ChatGPT, dan Hinton berbicara dengannya setelah keluar dari Google. Melalui kontak dengan tokoh-tokoh inti tersebut, ia juga mendalami raksasa AI seperti Microsoft, Google, dan Meta untuk menggali momen inti dan adegan dramatis di balik berbagai keputusan bisnis inti.Buku "Deep Learning Revolution" yang ditulis beberapa waktu lalu juga pernah diterbitkan. diungkapkan untuk pertama kalinya Pelelangan rahasia yang mengubah arah kecerdasan buatan sepuluh tahun lalu.
Buku tersebut melaporkan secara rinci pelelangan yang berlangsung pada tahun 2012 dan berdampak besar pada seluruh industri kecerdasan buatan.
Pada Desember 2012, Hinton, yang tidak dapat duduk diam karena disk hernia, tinggal bersama dua muridnya selama seminggu di sebuah hotel kasino di kaki pegunungan ski Danau Tahoe. Dia dan perusahaannya yang baru didirikan tanpa produk apa pun menerima putaran penawaran dari perusahaan paling terkenal di dunia, termasuk Microsoft, Google, Deepmind, dan Baidu.
Adegan paling dramatis muncul ketika Hinton berurusan dengan kunjungan mendadak Yu Kai, wakil dekan lembaga penelitian yang dikirim oleh Baidu.Untuk "jangan biarkan dia mengira aku sudah tua", dia meminta murid-muridnya untuk berkemas setiap saat untuk membiarkannya Sakit pinggang meredakan kanopi yang dibangun sementara dengan bantal sofa, yang membuat mereka cukup bingung. Selama kunjungan tertentu, Hinton menghadapi ransel kiri Yu Kai dan berjuang lama dengan para siswa apakah akan mencari informasi tentang harga cadangan Baidu. Namun pada akhirnya, harga diri membuat mereka menyerah. Akhirnya, seminggu kemudian, Hinton menerima tawaran Google, menjual perusahaan tersebut, yang masih kosong sama sekali, kepada raksasa tersebut seharga $44 juta, dan membuka tabir perang AI raksasa.
Sepanjang karirnya, adegan-adegan yang penuh detail dan konflik dramatis dapat dilihat di mana-mana. Oleh karena itu, tidak berlebihan untuk menyebutnya sebagai pengamat terdalam di bidang AI.
Dalam wawancara ini, Metz sekali lagi mendemonstrasikan pengetahuannya yang luas tentang bidang AI, mulai dari sejarah dan momen inti pembelajaran mendalam hingga masa depan AI dan dampaknya terhadap masyarakat manusia. Dia juga membuat evaluasi gaya pengamat tentang situasi kecerdasan buatan China pada khususnya.
Dia percaya bahwa alasan Sam Altman dapat membuat OpenAI menonjol terutama karena kemampuan negosiasinya yang kuat telah berkontribusi pada kerja sama antara OpenAI dan Microsoft. Dia juga percaya bahwa kesenjangan antara China dan Amerika Serikat dalam AI tidak sejauh yang dipikirkan publik, karena teknologi yang ada sendiri tidak memiliki parit. Mengenai masa depan AI, dia memiliki kekhawatiran yang sama dengan Hinton, dan dia akan khawatir kemunculan AGI akan membawa perubahan besar di masyarakat. Pengamat jelas, berikut adalah wawasan dari pengamat AI.
Fokus pada:
1 Dua momen penting dalam pengembangan AI, salah satunya adalah rilis makalah AlexNet, yang memungkinkan komunitas akademik untuk memahami bahwa jaringan saraf dapat mencapai kesuksesan besar dalam pengenalan gambar. Lainnya adalah rilis ChatGPT yang membuka mata publik.
2 Sangat mungkin perusahaan China akan segera menyusul OpenAI dalam hal model bahasa, karena kesenjangan keseluruhan dalam pengetahuan, pendanaan, dan sumber daya antara keduanya tidak terlalu besar.
3 Kehebohan media seputar AI memang ada karena orang tidak tahu banyak tentang keterbatasan sistem. GPT lemah dalam penalaran dan prediksi, jauh di bawah level AGI. Namun risiko AI pada tahap ini memang nyata.
4 Jika AGI datang, kondisi manusia akan semakin buruk. Karena nilainya sebagai pekerja kemudian akan turun menjadi nol, dan akan lebih murah jika mesin melakukan semua ini daripada mempekerjakan manusia. Namun AI saat ini masih jauh dari tujuan tersebut.
Kesenjangan antara China dan Amerika Serikat tidak terlalu besar, AI tidak memiliki parit
Teknologi Tencent:
Sekarang kisah OpenAI menjadi sorotan, Anda telah menulis banyak tentang pendirian dan perjalanannya di buku Anda. Bisakah Anda berbicara tentang Sam Altman? Kualitas apa yang memungkinkannya memimpin OpenAI ke tempatnya sekarang?
Cade Metz:
**Sam sangat ambisius dan dia pandai meyakinkan orang untuk melakukan apa yang dia ingin mereka lakukan. Terus terang, dia pandai membangun tim dan menempatkan mereka di jalur tertentu. ** Ini bukan hanya tentang tingkat pengembangan keterampilan. Mereka membutuhkan banyak uang untuk melakukan ini. Melatih jenis sistem ini menghabiskan biaya puluhan juta, jika tidak ratusan juta dolar. Saya telah mengatakan bahwa menganalisis semua teks di Internet dan belajar, dan membiarkan sistem ini belajar sendiri, membutuhkan waktu berbulan-bulan dan membutuhkan sistem komputasi besar yang sebenarnya dimiliki dan dikendalikan oleh perusahaan teknologi besar.
Sam mengumpulkan lebih dari $1 miliar pada sekitar tahun 2019. Jadi bagian yang baik dari keahliannya adalah menegosiasikan kesepakatan. ** Itu adalah masalah besar, Sam mendapatkan dana yang dia butuhkan, dan daya komputasi yang dia butuhkan. Mereka kemudian mengumpulkan lagi $11-plus miliar dari **Microsoft, dengan total hampir $13 miliar. Itulah alasan besar mengapa dia begitu penting.
Teknologi Tencent:
Anda menyebut Microsoft, tetapi itu benar-benar di belakang para pesaingnya dalam gelombang terakhir AI. Lalu mengapa Microsoft dapat memanfaatkan kesempatan ini dalam gelombang AI ini dan bertindak begitu cepat?
Cade Metz:
Ini adalah langkah yang menarik untuk Microsoft. Mereka pernah berada di belakang persaingan, tetapi mereka menyadari pentingnya teknologi yang mereka bangun. Mereka juga mengalami banyak kesulitan sebelumnya. Lawannya Google dan perusahaan lain memiliki skenario di mana teknologi ini dapat digunakan: Google pertama kali menggunakan jaringan saraf dalam skala besar di ponsel Android dan asisten digitalnya Google Home untuk pengenalan suara. Jadi saat Anda menggunakan speaker pintar ini di rumah, mereka dapat menjawab pertanyaan Anda. Google dapat mulai menerapkan teknologi ini dengan sangat cepat karena mereka memiliki skenario dan perangkat keras untuk menerapkannya. Microsoft tidak memiliki skenario ini.
Tetapi ketika Microsoft akhirnya mencoba menerapkannya, mereka mengalami masalah lain. Mereka meluncurkan chatbot bernama Tay di AS beberapa tahun yang lalu, dan segera setelah diluncurkan, ia mulai menghasilkan beberapa pesan ofensif, termasuk pesan rasis. Microsoft hanya dapat menghapusnya segera.
**Ini adalah satu sisi dari cerita saat teknologi AI berkembang di A.S., karena sistem ini terkadang menghasilkan teks yang tidak perlu yang bias terhadap orang tertentu dan menghasilkan ujaran kebencian. Oleh karena itu, sulit bagi perusahaan besar untuk memutuskan meluncurkan produk ini, dan mereka tidak mau mengambil risiko itu. Tetapi Microsoft telah bermitra dengan OpenAI, yang meluncurkan sistem tersebut, sehingga orang tidak bereaksi kuat terhadap kekurangannya seperti yang mereka lakukan terhadap Microsoft. ** Orang akan menerima bahwa bug ini berasal dari perusahaan kecil dan tidak dikenal, tetapi bukan dari perusahaan terkenal seperti Microsoft.
Teknologi Tencent:
Menurut pengamatan Anda, seberapa besar kesenjangan antara China dan Amerika Serikat di bidang kecerdasan buatan? Menurut Anda, keuntungan apa yang dimiliki China dalam kecerdasan buatan?
Cade Metz:
China telah mengerjakan ini selama beberapa waktu. Ada banyak orang dan perusahaan yang memahami teknologi yang terlibat di sini, tetapi mungkin ada kesulitan. Chip komputer yang dibutuhkan untuk melatih sistem ini diproduksi pada tingkat tertinggi oleh perusahaan Amerika. Sekarang ada larangan perdagangan, chip ini tidak bisa dijual ke China. Ini bisa menjadi kerugian.
Kita akan melihat bagaimana hasilnya ketika membangun teknologi ini. **Sam Altman mengatakan baru-baru ini bahwa dia merasa China tertinggal dua tahun. Ini adalah perkiraan. Saya pikir industri secara keseluruhan dapat mengejar apa yang dia dan perusahaannya lakukan dengan cukup cepat. Kami sudah mulai melihat itu, dan saya pikir itu bisa terjadi di China juga. **
Teknologi Tencent:
Apakah celah ini semakin besar atau kecil?
Cade Metz:
Karena larangan perdagangan, sulit untuk mengatakannya. Ini adalah kesulitan yang dihadapi China. Sejauh yang saya tahu, China bekerja keras untuk membangun, mendesain, dan memasok chip dan peralatan yang dibutuhkan untuk pusat data.
**Baik di China atau di Amerika Serikat, kita harus menghadapi banyak peran potensial yang dimainkan oleh friksi perdagangan seperti persaingan. Sekarang diterima secara umum bahwa teknologi OpenAI saat ini berada di depan sebagian besar pesaingnya. Namun ada banyak perusahaan lain di dunia yang memiliki cukup pengetahuan, uang, dan akses ke sumber daya yang dibutuhkan untuk benar-benar bersaing. **
Oleh karena itu, kami masih dalam tahap awal kompetisi AI, dan masih banyak jalan yang harus dijelajahi. Hasilnya masih harus menunggu dan melihat.
Teknologi Tencent:
Anda menyebutkan Baidu dalam buku Anda. Perusahaan China tersebut juga mulai bereksperimen dengan teknologi AI semacam ini pada tahun 2012, sudah dalam tahap awal balapan. Menurut Anda mengapa itu tidak menunjukkan kekuatan hari ini? Menurut Anda, apa faktor utama penyebab situasi ini?
Cade Metz:
** Saya pikir ide-ide mendorong lapangan. ** Pembelajaran mendalam terkenal di seluruh dunia, dan para peneliti di China telah membangun teknik serupa. Tapi seperti di A.S., orang-orang kagum pada seberapa baik langkah pelatihan umpan balik manusia yang saya sebutkan sebelumnya berhasil. **Dengan demikian, mereka selangkah di belakang banyak orang di AS dalam menerapkan teknik ini (pelatihan dengan umpan balik manusia) ke model bahasa besar. **
Teknologi Tencent:
Anda menyebutkan bahwa banyak perusahaan lain juga mengikuti perlombaan ini, selain yang besar seperti OpenAI, Google, dan Meta, apakah ada perusahaan kecil yang layak untuk ditonton?
Cade Metz:
Ada sebuah perusahaan bernama Anthropic, yang didirikan oleh sekelompok orang yang keluar dari OpenAI. Perusahaannya tidak terkenal, tetapi mereka akan menjadi penting di ruang ini. Mereka membantu membangun banyak teknologi yang membentuk ChatGPT dan membuat chatbot mereka sendiri, yang belum dirilis ke masyarakat umum. Saya perkirakan kemampuannya akan sebanding dengan ChatGPT.
Ada perusahaan di Toronto bernama Coherence yang melakukan hal serupa; di AS ada perusahaan bernama Character.AI yang didirikan oleh mantan Googler; ada perusahaan lain bernama Inflection AI, yang didirikan oleh salah satu pendiri DeepMind of. DeepMind adalah lab penting lainnya yang berbasis di London, yang pada dasarnya dimiliki oleh Google.
Teknologi Tencent:
Untuk perusahaan yang berkembang di segmen AI, di mana peluangnya?
Cade Metz:
Cara kerja domain kecil ini adalah begitu seseorang membangun sistem yang disebut model bahasa besar, Anda dapat menggunakannya untuk membangun semua jenis teknik lainnya. Anda dapat membuat chatbot, Anda dapat membuat mesin pencari, Anda dapat membuat tutor pribadi. **Jadi yang dilakukan OpenAI adalah mereka membangun sistem inti ini. Mereka menyebutnya GPT-4, dan kemudian mereka menawarkan sistem ini ke bisnis lain mana pun yang ingin menggunakannya. Ini adalah cara untuk membuat aplikasi lain.
Itulah yang mulai kita lihat. **Saya pikir Anda akan melihat perusahaan seperti OpenAI menawarkan layanan semacam ini. Setiap orang dapat menggunakannya untuk membangun aplikasi mereka sendiri di atasnya. **Jadi menurut saya ada banyak peluang di mana perusahaan dapat mengambil layanan inti ini dan kemudian membangun hal baru di atasnya dan menjual aplikasi tersebut. Tetapi yang paling sulit adalah membangun layanan inti ini, dan tidak banyak perusahaan yang dapat melakukannya. Di Amerika Serikat, ada raksasa seperti Google, Microsoft, dan Meta, dan hanya sedikit startup yang memiliki modal dan bakat yang dibutuhkan. Seperti yang saya katakan sebelumnya, Anda membutuhkan ratusan juta dolar untuk membangun sistem inti ini. **Jadi saat ini sulit bagi perusahaan kecil untuk bersaing dengan mereka dalam hal membangun model dasar. **
Banyak orang berpikir bahwa ketika harga turun dan proyek open source meningkat, akan lebih mudah bagi orang untuk membangun sistem inti mereka sendiri, dan itu pada akhirnya akan berubah. Tapi saya tidak yakin.
Dua pencapaian dalam pengembangan AI: lelang dan lahirnya ChatGPT
Teknologi Tencent:
Sebagai penulis AI senior, Anda pada dasarnya berfokus pada bidang pembelajaran mendalam dalam karir sepuluh tahun Anda, dan Anda telah menetapkan semua peran penting di bidang ini dan berpartisipasi dalam berbagai momen menentukan di antaranya. . Apa yang mendorong Anda untuk memperhatikan bidang ini?
Cade Metz:
Sekitar tahun 2011 atau 2012, saya bergabung dengan Wired di San Francisco. Ini adalah salah satu area yang saya putuskan untuk fokus. Saat itu lebih dari sepuluh tahun yang lalu, sudah tercium bahwa bidang ini akan menjadi sangat penting. Saat itulah beberapa momen penting terjadi yang membuat saya tertarik pada teknologi.
Hinton adalah protagonis dari buku "The Deep Learning Revolution" dan saya telah menulis tentang kebangkitannya dan konsep utama jaringan saraf yang telah mendorong banyak kemajuan dalam 10 tahun terakhir. Dia akhirnya bergabung dengan Google pada tahun 2013.
Belakangan saya mengetahui bahwa ini adalah lelang antara beberapa perusahaan teknologi terbesar di dunia, termasuk Google, Microsoft, dan Baidu China. Itu adalah momen yang sangat penting, dan Anda bisa melihat sesuatu mulai terjadi. Selama bertahun-tahun, saya mulai meliput ruang lebih banyak lagi, dan mengenal orang-orang seperti Hinton dan rekan lamanya Yann Lecun, yang akhirnya bergabung dengan Facebook dan sekarang Meta, di antara orang-orang lain di lapangan. Kami mulai melakukan banyak liputan di Wired, dan kemudian itu menjadi semakin besar. Akhirnya, saya memutuskan untuk menulis buku tentang bidang ini, yang terus saya bahas ketika saya pindah dari Wired ke The New York Times.
Teknologi Tencent:
Sebagai seorang reporter yang telah mengikuti AI sejak lama, seperti melalui sebuah siklus, Anda telah mengalami masa-masa sulit di bidang pembelajaran mesin, kecerdasan buatan. Menurut Anda, apa yang membuat Hinton dan lainnya bertahan?
Cade Metz:
Hinton mulai mengerjakan jaringan saraf pada tahun 1972. Saat itu, hampir tidak ada yang percaya bahwa itu akan berhasil, karena** seluruh bidang kecerdasan buatan mengabaikan arah jaringan saraf. Tapi ** Hinton adalah orang yang berpikiran sendiri, yang benar-benar percaya pada apa yang dia yakini, dan dia teguh ke arah itu.
**Pada tahun 1980-an, sebagian besar karena upaya Hinton sendiri, teknologi membuat beberapa kemajuan besar. Banyak orang mulai mempercayai ide ini lagi. Namun di awal tahun 90-an, orang menyerah lagi, tetapi dia terus bekerja, dan dia selalu mempertahankan sikap konsistennya. ** Mereka yakin ide tersebut akan terus meningkat, dan mereka benar. Bagian dari apa yang membuat cerita ini begitu menarik adalah bahwa mereka tetap bekerja meski menghadapi begitu banyak skeptisisme, bahkan dari rekan dekat mereka.
** Momen yang benar-benar membuka mata seluruh industri adalah apa yang sekarang dikenal sebagai kertas AlexNet. Makalah penelitian ini, yang ditulis oleh Hinton dan dua mahasiswanya di University of Toronto, menunjukkan bahwa jaringan saraf dapat mencapai sukses besar dalam pengenalan gambar**, mengidentifikasi objek dalam foto seperti bunga, mobil, orang, hewan, dll.
Ketika makalah itu diterbitkan pada 2012, itu membuka mata Google, Microsoft, Baidu, dan akhirnya Facebook. Kita dapat melihat perang untuk bakat ini, terburu-buru untuk menerapkan ide ini di dalam beberapa perusahaan terbesar di planet ini, tidak hanya untuk pengenalan gambar, tetapi untuk pengenalan ucapan, terjemahan, dan sebagainya. Makalah itu adalah momen yang sangat penting. Itu sebabnya buku saya dimulai dengan kertas itu, ** saat itulah Hinton melelang perusahaannya kepada penawar tertinggi, dan itu memicu segalanya. **
Sejak saat itu hingga hari ini, kami terus meningkatkan. Kebangkitan kesadaran industri yang disebutkan di atas pada tahun 2012 adalah momen kritis, dan 10 tahun kemudian, ChatGPT dirilis, yang merupakan momen kritis lainnya. Kedua momen ini merupakan titik balik yang sangat penting ketika kita melihat kembali sejarah AI.
Teknologi Tencent:
**Dalam buku Anda, Anda menjelaskan pengembangan pembelajaran mendalam, dan pencapaian produk seperti AlphaGo, Deepfake, dan seri GPT telah memicu diskusi publik yang luas. Namun hingga kemunculan ChatGPT, semua orang benar-benar merasakan revolusi industri yang sesungguhnya akan datang, apa yang membuat seri GPT begitu berbeda? **
Cade Metz:
Ini pertanyaan yang bagus. Teknologi terkait GPT dan ChatGPT telah dikembangkan selama beberapa waktu. Beberapa perusahaan telah mengembangkan teknik ini selama lima tahun terakhir, dengan OpenAI akhirnya mengembangkan Chat GPT, dan perusahaan seperti Google, Meta (sebelumnya Facebook) dan Microsoft juga mulai mengembangkan apa yang disebut model bahasa besar lima tahun lalu.
Ide di balik teknologi ini adalah membangun jaringan saraf, sebuah sistem matematika yang dapat belajar dari data. Berikan sebanyak mungkin teks, dan ia menganalisis teks itu, dan dalam proses menganalisis teks itu, ia belajar menghasilkan teks itu sendiri. Dengan menganalisis artikel Wikipedia, posting blog, log obrolan, dan berbagai konten di Internet, ia mengenali pola dalam cara kami menyusun kata dan belajar melakukannya. Kami telah melihat teknologi ini membuahkan hasil selama beberapa tahun terakhir, dan beberapa sistem menarik telah dirilis.
OpenAI merilis GPT-2, GPT-3, semuanya sangat mengesankan. Kita bisa melihat sistem ini mulai menghasilkan teks seperti manusia. Namun rilis ChatGPT-lah yang benar-benar membuat masyarakat umum menyadari hal ini. Perusahaan lain telah merilis chatbot mereka sendiri bahkan berbulan-bulan, berminggu-minggu yang lalu, seperti Meta (ex-Facebook) merilis chatbot di komunitas ilmiah, tetapi itu tidak hanya tidak menarik bagi orang-orang, tetapi juga dikritik sebagai ejekan. Karena itu menciptakan disinformasi dan orang-orang sangat kesal karenanya. Meta dengan cepat mengambilnya. Namun tak lama setelah itu, OpenAI merilis ChatGPT di Twitter.
**Menjadi populer sebagian karena cara perilisannya, dan sebagian lagi karena perusahaan yang merilisnya. Tetapi ChatGPT meningkatkan beberapa aspek teknis utama. Karena dalam membangun model bahasa besar yang dipelajari dari seluruh internet, mereka menerapkan umpan balik manusia kepada mereka. Mereka meminta manusia untuk menilai respons chatbot. Apakah mereka meminta manusia untuk menilai respons sebagai baik? apakah itu nyata Apakah itu bekerja? Mereka memberikan suka atau tidak suka, dan kemudian mereka memasukkan peringkat tersebut kembali ke sistem dan membiarkannya belajar dari peringkat tersebut. **
Dengan cara ini, mereka mampu mengasahnya hingga hampir setiap chatbot diminta, menghasilkan teks yang meyakinkan. Itu mungkin tidak selalu benar dan masih menghasilkan disinformasi, tetapi ** itu berkomunikasi kepada orang-orang dengan cara responsif yang sebenarnya digunakan manusia. Bukan hanya dengan para ahli di bidangnya, tapi dengan siapa saja. Ini benar-benar menangkap imajinasi orang. **Telah terjadi pergeseran persepsi masyarakat yang nyata terhadap teknologi ini, tidak hanya di kalangan masyarakat biasa, tetapi juga di kalangan banyak peneliti di bidang teknologi ini. Popularitas ChatGPT telah mengantarkan era baru teknologi jenis ini dan perlombaan baru menuju kecerdasan buatan yang semakin mengesankan.
Teknologi Tencent:
Jadi menurut Anda, faktor kunci teknis keberhasilan ChatGPT terutama adalah RLHF (Belajar dengan Umpan Balik Manusia)?
Cade Metz:
Ya, jika Anda menggunakan beberapa versi sebelumnya, seperti **GPT-3, terkadang akan sangat mengesankan jika Anda menanyakannya dengan cara tertentu. Misalnya, jika Anda memintanya untuk berpidato dengan gaya Donald Trump, ada sekitar setengah kemungkinannya akan menghasilkan pidato yang mengesankan. Ini seperti melempar dadu, terkadang itu akan memberi Anda apa yang Anda inginkan, dan terkadang tidak. Dalam hal ini sistem tersebut tidak menarik perhatian orang awam. **Tetapi mereka mengambil sistem dasar ini, tetapi setiap kali sistem menghasilkan jawaban, mereka meminta annotator untuk menilainya. Itu dapat mengambil peringkat dari manusia, melihat bagaimana mereka menilai respons tersebut, dan menggunakannya untuk melatih ulang sistem. Anotator memberi tahu GPT jawaban seperti apa yang baik dan jawaban seperti apa yang buruk.
Akhirnya, OpenAI mendapatkan chatbot yang dapat berkomunikasi seperti manusia hampir setiap saat. Mereka menempatkan sistem ini di depan orang biasa, dan diskusi panas ini adalah cara orang menanggapi kemunculannya. Di Twitter, siapa pun dapat menggunakannya, dan orang-orang benar-benar meresponsnya.
AGI masih jauh, namun kedatangannya akan menggantikan semua nilai kerja manusia
Teknologi Tencent:
Beberapa waktu lalu, Musk mengatakan dalam sebuah wawancara bahwa AGI akan terwujud dalam 5 atau 6 tahun, apakah menurut Anda AGI akan menjadi tujuan yang mudah?
Cade Metz:
Sangat sulit untuk mengatakannya, dan ada banyak kontroversi tentang masalah ini. ** Kami tahu bahwa sistem AI saat ini jauh dari level itu. Mereka dapat menghasilkan bahasa dengan cara yang mengesankan, tetapi mereka tidak dapat berpikir seperti manusia, juga tidak memiliki akal sehat manusia. **
Banyak orang percaya bahwa kami membutuhkan cara baru untuk memberi mereka kemampuan ini, dan metode kami saat ini tidak dapat membuat mereka mencapai AGI. Mereka perlu tahu lebih banyak tentang dunia fisik dari sekedar bahasa. Ada banyak perdebatan dan ketidaksepakatan tentang hal ini, tetapi ini jelas bukan sesuatu yang perlu kita pikirkan hari ini, dan kita juga belum cukup dekat dengan AGI.
Teknologi Tencent:
Menurut Anda apa kekurangan sistem saat ini dibandingkan dengan kecerdasan buatan umum yang sebenarnya?
Cade Metz:
Saat sistem ini digunakan, kelemahan AI saat ini dapat dengan mudah ditemukan. Jika Anda mencoba membuat mereka bernalar seperti manusia, terkadang mereka bisa meniru, tetapi seringkali tidak.
Inilah kesulitan sebenarnya. **Perbedaan terbesar antara mereka dan AGI adalah mereka menghasilkan teks yang masuk akal dan benar-benar dapat bernalar. **
**Sistem ini sangat bagus dalam menangani hal-hal yang terjadi di masa lalu, yaitu sesuatu yang didokumentasikan di internet. Tapi mereka tidak berbicara tentang masa depan dan berspekulasi tentang apa yang mungkin terjadi. ** Anda dan saya dapat melakukan percakapan ini di mana kita berbicara tentang masa depan dan memikirkan tentang apa yang mungkin terjadi. Sistem ini tidak pandai melakukan ini. Mereka pandai meniru apa yang telah mereka lihat sebelumnya. Jadi mereka sangat bagus dalam melewati tes standar. Mereka melakukannya dengan sangat baik dalam ujian seperti hukum dan sains sekolah menengah dan matematika sehingga mereka mendapat banyak perhatian di media.
**Tetapi penelitian lain menunjukkan bahwa jika Anda hanya memberi mereka pertanyaan yang benar-benar baru, pertanyaan yang ditulis setelah mereka dilatih, mereka tidak akan bekerja dengan baik. Jadi saat mereka menjawab semua pertanyaan standar ini, mereka belum tentu bernalar. ** Apa yang mereka lakukan adalah mengulangi apa yang terlihat sebelumnya.
Teknologi Tencent:
Mengenai ancaman AI, seperti opasitas, Anda merekam bagian yang menarik dari Hinton dalam buku "Orang perlu hidup dengan masalah 'kotak hitam', bahkan jika Anda tidak dapat melihat cara kerjanya, mereka akan melakukan apa yang seharusnya. lakukan" , tetapi baru-baru ini Hinton keluar dari Google, dan Anda juga melakukan wawancara dengannya, di mana dia mengungkapkan banyak kekhawatiran tentang AI. Bagaimana Anda memahami perubahan sikap Hinton terhadap AI?
Cade Metz:
Pemikirannya pasti telah berubah. Ketika saya menerbitkan buku itu, menurutnya risiko AI cukup jauh. Namun dalam setahun terakhir, dia berubah pikiran saat melihat teknologi ChatGPT yang kita lihat sekarang.
Dia menyadari bahwa dalam beberapa hal sistem lebih kuat daripada otak manusia. ** Anda dan saya tidak dapat memahami seluruh Internet, itu di luar jangkauan manusia. Kita tidak bisa belajar dari data sebanyak ini, tapi sistemnya bisa. **Dia khawatir mereka digunakan untuk menyebarkan disinformasi, dalam hal ini teks yang tidak nyata, gambar yang tidak nyata, video yang tidak nyata.
**Selain itu, dia juga khawatir tentang sistem yang mulai mengambil pekerjaan orang; juga khawatir tentang beberapa masalah yang lebih besar, seperti sistem otomatis yang digunakan di medan perang, digunakan sebagai senjata; dia bahkan khawatir di jangka waktu yang lebih lama, kita akan kehilangan kendali atas AI. **
Teknologi Tencent:
Kolega lama Hinton, Yann Lecun, dan ilmuwan AI lainnya akhir-akhir ini banyak berbicara tentang media yang membesar-besarkan kemampuan dan ancaman AI. Apakah Anda pikir dia benar? Dengan cara apa media mungkin memperumit masalah ini lebih dari yang sebenarnya?
Cade Metz:
** Saya pikir media melebih-lebihkan. Saat Chat GPT pertama kali dirilis, orang tidak melihat kekurangannya, dan butuh waktu lama sebelum mereka menyadari bahwa itu menghasilkan informasi yang salah untuk menyesatkan orang. Banyak orang, termasuk jurnalis, kesulitan memahami apa yang terjadi. Oleh karena itu, Mereka terus menyesatkan orang saat mereka menyebar. **Dalam hal ini, over-hyping dapat dengan mudah terjadi.
Tentu saja, terkadang kesengajaan yang dilebih-lebihkan muncul dari kesalahpahaman, tetapi beberapa orang sengaja menggembar-gemborkan dan yang lain tidak sadar. Tapi saya pikir itu sebagian besar karena orang tidak sepenuhnya memahami apa yang mereka lihat.
Teknologi Tencent:
Menurut Anda apa signifikansi historis dari ledakan AI saat ini? Apakah ini awal dari revolusi industri baru?
Cade Metz:
Itu mungkin. Saya pikir kami akan terus melihat peningkatan pada sistem ini. **Mereka akan dapat menangani tidak hanya teks, tetapi juga gambar. Kami telah melihat versi terbaru dari teknologi yang dibuat oleh OpenAI mengambil gambar dan mendeskripsikan apa yang ada di dalamnya, menjawab pertanyaan tentangnya. Ini belum publik, tapi itu bagian dari apa yang telah mereka bangun. Ini menjanjikan semakin banyak keterampilan yang mirip dengan manusia dan terus mengubah pekerjaan orang.
Jadi saya pikir apa yang telah kita lihat dalam enam bulan terakhir menunjukkan bahwa kita akan mengalami perubahan yang sangat besar dalam beberapa tahun ke depan. Transformasi ini tampaknya akan menjangkau sejauh revolusi industri pertama. Kami masih dalam tahap awal. Hal-hal ini seringkali berjalan lebih lambat dari yang dipikirkan orang. Tapi saya pikir kita menuju ke arah itu.
Teknologi Tencent:
Menurut Anda bagaimana AI akan membentuk kembali masyarakat ini? Di manakah nilai manusia saat AGI diwujudkan?
Cade Metz:
Saya rasa akan menjadi situasi yang sulit bagi manusia untuk benar-benar memiliki sistem yang dapat melakukan apa pun yang dapat dilakukan oleh otak manusia, yang disebut AGI.
**Jika mesin dapat melakukan semua yang dapat dilakukan manusia, maka nilai seorang pekerja akan turun menjadi nol karena akan lebih murah menggunakan mesin daripada mempekerjakan manusia. Menurut pendapat saya, ini bukan situasi yang baik bagi manusia. ** Tapi AI belum ada.
Ambil pemrogram komputer sebagai contoh. Saat ini, sistem dapat menghasilkan program komputer dan kode komputer dengan sangat baik, tetapi kode tersebut mungkin masih memiliki cacat. Masih membutuhkan pemrogram manusia yang berpengalaman untuk mengambil alih kode yang dihasilkan, mengedit, dan mengintegrasikannya. program yang lebih besar, akhirnya membangun aplikasi. Karena sistem ini menjadi lebih baik dari waktu ke waktu, mereka akan menggantikan lebih banyak hal yang dilakukan manusia. Masalah pada tahap ini adalah AI akan segera mulai menggantikan programmer junior yang kurang berpengalaman, orang-orang yang berada di bawah industri programmer, yang melakukan hal yang sama seperti AI, menulis beberapa kode dasar dan menyerahkannya kepada yang lebih berpengalaman. programmer.orang untuk mengintegrasikan.
** Saat AI terus meningkat, mesin pasti akan mengubah banyak hal, tetapi kita tidak berada pada titik di mana AI akan tiba-tiba menggantikan banyak pekerjaan. **
Kekhawatiran lain yang saya miliki adalah bahwa sistem ini dapat menghasilkan teks dan gambar yang realistis. Mereka bahkan mulai membuat video dengan cepat, kami tidak akan dapat mengetahui apa yang nyata dari apa yang tidak ada di internet, dan benar-benar harus mengubah pola pikir kami saat menjelajahi hampir semua hal di internet. Anda harus bertanya kepada massa apakah mereka memiliki kekuatan untuk mengubah cara berpikir mereka secara umum. **
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Wawancara dengan reporter AI legendaris Cade Metz: Tidak ada parit di industri ini, dan China akan segera menyusul OpenAI
Penulis | Tencent Technology Hao Boyang
Judul “Three Big Three in Deep Learning” tentu sudah tidak asing lagi bagi pembaca di masa kebangkitan AI. Namun di antara talenta pembelajaran mendalam, kriteria evaluasi apa yang digunakan untuk memilih Hinton, Yann Lecun, dan Yoshua Bengio sebagai raksasa? Tidak ada kompetisi, debat, atau peringkat.Judul ini ditentukan oleh reporter paling terkenal di bidang AI, Cade Metz, sejak 18 tahun lalu.
Sebagai penulis senior majalah "Wired", kepala penulis kolom kecerdasan buatan "New York Times", dan penulis "Deep Learning Revolution", Cade Metz pada dasarnya mewawancarai semua pakar terkenal di bidang AI selama lebih dari sepuluh tahun. pengalaman kerja, Sam Altman berkonsultasi dengannya sebelum meluncurkan ChatGPT, dan Hinton berbicara dengannya setelah keluar dari Google. Melalui kontak dengan tokoh-tokoh inti tersebut, ia juga mendalami raksasa AI seperti Microsoft, Google, dan Meta untuk menggali momen inti dan adegan dramatis di balik berbagai keputusan bisnis inti.Buku "Deep Learning Revolution" yang ditulis beberapa waktu lalu juga pernah diterbitkan. diungkapkan untuk pertama kalinya Pelelangan rahasia yang mengubah arah kecerdasan buatan sepuluh tahun lalu.
Buku tersebut melaporkan secara rinci pelelangan yang berlangsung pada tahun 2012 dan berdampak besar pada seluruh industri kecerdasan buatan.
Pada Desember 2012, Hinton, yang tidak dapat duduk diam karena disk hernia, tinggal bersama dua muridnya selama seminggu di sebuah hotel kasino di kaki pegunungan ski Danau Tahoe. Dia dan perusahaannya yang baru didirikan tanpa produk apa pun menerima putaran penawaran dari perusahaan paling terkenal di dunia, termasuk Microsoft, Google, Deepmind, dan Baidu.
Adegan paling dramatis muncul ketika Hinton berurusan dengan kunjungan mendadak Yu Kai, wakil dekan lembaga penelitian yang dikirim oleh Baidu.Untuk "jangan biarkan dia mengira aku sudah tua", dia meminta murid-muridnya untuk berkemas setiap saat untuk membiarkannya Sakit pinggang meredakan kanopi yang dibangun sementara dengan bantal sofa, yang membuat mereka cukup bingung. Selama kunjungan tertentu, Hinton menghadapi ransel kiri Yu Kai dan berjuang lama dengan para siswa apakah akan mencari informasi tentang harga cadangan Baidu. Namun pada akhirnya, harga diri membuat mereka menyerah. Akhirnya, seminggu kemudian, Hinton menerima tawaran Google, menjual perusahaan tersebut, yang masih kosong sama sekali, kepada raksasa tersebut seharga $44 juta, dan membuka tabir perang AI raksasa.
Sepanjang karirnya, adegan-adegan yang penuh detail dan konflik dramatis dapat dilihat di mana-mana. Oleh karena itu, tidak berlebihan untuk menyebutnya sebagai pengamat terdalam di bidang AI.
Dalam wawancara ini, Metz sekali lagi mendemonstrasikan pengetahuannya yang luas tentang bidang AI, mulai dari sejarah dan momen inti pembelajaran mendalam hingga masa depan AI dan dampaknya terhadap masyarakat manusia. Dia juga membuat evaluasi gaya pengamat tentang situasi kecerdasan buatan China pada khususnya.
Dia percaya bahwa alasan Sam Altman dapat membuat OpenAI menonjol terutama karena kemampuan negosiasinya yang kuat telah berkontribusi pada kerja sama antara OpenAI dan Microsoft. Dia juga percaya bahwa kesenjangan antara China dan Amerika Serikat dalam AI tidak sejauh yang dipikirkan publik, karena teknologi yang ada sendiri tidak memiliki parit. Mengenai masa depan AI, dia memiliki kekhawatiran yang sama dengan Hinton, dan dia akan khawatir kemunculan AGI akan membawa perubahan besar di masyarakat. Pengamat jelas, berikut adalah wawasan dari pengamat AI.
Kesenjangan antara China dan Amerika Serikat tidak terlalu besar, AI tidak memiliki parit
Teknologi Tencent:
Sekarang kisah OpenAI menjadi sorotan, Anda telah menulis banyak tentang pendirian dan perjalanannya di buku Anda. Bisakah Anda berbicara tentang Sam Altman? Kualitas apa yang memungkinkannya memimpin OpenAI ke tempatnya sekarang?
Cade Metz:
**Sam sangat ambisius dan dia pandai meyakinkan orang untuk melakukan apa yang dia ingin mereka lakukan. Terus terang, dia pandai membangun tim dan menempatkan mereka di jalur tertentu. ** Ini bukan hanya tentang tingkat pengembangan keterampilan. Mereka membutuhkan banyak uang untuk melakukan ini. Melatih jenis sistem ini menghabiskan biaya puluhan juta, jika tidak ratusan juta dolar. Saya telah mengatakan bahwa menganalisis semua teks di Internet dan belajar, dan membiarkan sistem ini belajar sendiri, membutuhkan waktu berbulan-bulan dan membutuhkan sistem komputasi besar yang sebenarnya dimiliki dan dikendalikan oleh perusahaan teknologi besar.
Sam mengumpulkan lebih dari $1 miliar pada sekitar tahun 2019. Jadi bagian yang baik dari keahliannya adalah menegosiasikan kesepakatan. ** Itu adalah masalah besar, Sam mendapatkan dana yang dia butuhkan, dan daya komputasi yang dia butuhkan. Mereka kemudian mengumpulkan lagi $11-plus miliar dari **Microsoft, dengan total hampir $13 miliar. Itulah alasan besar mengapa dia begitu penting.
Teknologi Tencent:
Anda menyebut Microsoft, tetapi itu benar-benar di belakang para pesaingnya dalam gelombang terakhir AI. Lalu mengapa Microsoft dapat memanfaatkan kesempatan ini dalam gelombang AI ini dan bertindak begitu cepat?
Cade Metz:
Ini adalah langkah yang menarik untuk Microsoft. Mereka pernah berada di belakang persaingan, tetapi mereka menyadari pentingnya teknologi yang mereka bangun. Mereka juga mengalami banyak kesulitan sebelumnya. Lawannya Google dan perusahaan lain memiliki skenario di mana teknologi ini dapat digunakan: Google pertama kali menggunakan jaringan saraf dalam skala besar di ponsel Android dan asisten digitalnya Google Home untuk pengenalan suara. Jadi saat Anda menggunakan speaker pintar ini di rumah, mereka dapat menjawab pertanyaan Anda. Google dapat mulai menerapkan teknologi ini dengan sangat cepat karena mereka memiliki skenario dan perangkat keras untuk menerapkannya. Microsoft tidak memiliki skenario ini.
Tetapi ketika Microsoft akhirnya mencoba menerapkannya, mereka mengalami masalah lain. Mereka meluncurkan chatbot bernama Tay di AS beberapa tahun yang lalu, dan segera setelah diluncurkan, ia mulai menghasilkan beberapa pesan ofensif, termasuk pesan rasis. Microsoft hanya dapat menghapusnya segera.
**Ini adalah satu sisi dari cerita saat teknologi AI berkembang di A.S., karena sistem ini terkadang menghasilkan teks yang tidak perlu yang bias terhadap orang tertentu dan menghasilkan ujaran kebencian. Oleh karena itu, sulit bagi perusahaan besar untuk memutuskan meluncurkan produk ini, dan mereka tidak mau mengambil risiko itu. Tetapi Microsoft telah bermitra dengan OpenAI, yang meluncurkan sistem tersebut, sehingga orang tidak bereaksi kuat terhadap kekurangannya seperti yang mereka lakukan terhadap Microsoft. ** Orang akan menerima bahwa bug ini berasal dari perusahaan kecil dan tidak dikenal, tetapi bukan dari perusahaan terkenal seperti Microsoft.
Teknologi Tencent:
Menurut pengamatan Anda, seberapa besar kesenjangan antara China dan Amerika Serikat di bidang kecerdasan buatan? Menurut Anda, keuntungan apa yang dimiliki China dalam kecerdasan buatan?
Cade Metz:
China telah mengerjakan ini selama beberapa waktu. Ada banyak orang dan perusahaan yang memahami teknologi yang terlibat di sini, tetapi mungkin ada kesulitan. Chip komputer yang dibutuhkan untuk melatih sistem ini diproduksi pada tingkat tertinggi oleh perusahaan Amerika. Sekarang ada larangan perdagangan, chip ini tidak bisa dijual ke China. Ini bisa menjadi kerugian.
Kita akan melihat bagaimana hasilnya ketika membangun teknologi ini. **Sam Altman mengatakan baru-baru ini bahwa dia merasa China tertinggal dua tahun. Ini adalah perkiraan. Saya pikir industri secara keseluruhan dapat mengejar apa yang dia dan perusahaannya lakukan dengan cukup cepat. Kami sudah mulai melihat itu, dan saya pikir itu bisa terjadi di China juga. **
Teknologi Tencent:
Apakah celah ini semakin besar atau kecil?
Cade Metz:
Karena larangan perdagangan, sulit untuk mengatakannya. Ini adalah kesulitan yang dihadapi China. Sejauh yang saya tahu, China bekerja keras untuk membangun, mendesain, dan memasok chip dan peralatan yang dibutuhkan untuk pusat data.
**Baik di China atau di Amerika Serikat, kita harus menghadapi banyak peran potensial yang dimainkan oleh friksi perdagangan seperti persaingan. Sekarang diterima secara umum bahwa teknologi OpenAI saat ini berada di depan sebagian besar pesaingnya. Namun ada banyak perusahaan lain di dunia yang memiliki cukup pengetahuan, uang, dan akses ke sumber daya yang dibutuhkan untuk benar-benar bersaing. **
Oleh karena itu, kami masih dalam tahap awal kompetisi AI, dan masih banyak jalan yang harus dijelajahi. Hasilnya masih harus menunggu dan melihat.
Teknologi Tencent:
Anda menyebutkan Baidu dalam buku Anda. Perusahaan China tersebut juga mulai bereksperimen dengan teknologi AI semacam ini pada tahun 2012, sudah dalam tahap awal balapan. Menurut Anda mengapa itu tidak menunjukkan kekuatan hari ini? Menurut Anda, apa faktor utama penyebab situasi ini?
Cade Metz:
** Saya pikir ide-ide mendorong lapangan. ** Pembelajaran mendalam terkenal di seluruh dunia, dan para peneliti di China telah membangun teknik serupa. Tapi seperti di A.S., orang-orang kagum pada seberapa baik langkah pelatihan umpan balik manusia yang saya sebutkan sebelumnya berhasil. **Dengan demikian, mereka selangkah di belakang banyak orang di AS dalam menerapkan teknik ini (pelatihan dengan umpan balik manusia) ke model bahasa besar. **
Teknologi Tencent:
Anda menyebutkan bahwa banyak perusahaan lain juga mengikuti perlombaan ini, selain yang besar seperti OpenAI, Google, dan Meta, apakah ada perusahaan kecil yang layak untuk ditonton?
Cade Metz:
Ada sebuah perusahaan bernama Anthropic, yang didirikan oleh sekelompok orang yang keluar dari OpenAI. Perusahaannya tidak terkenal, tetapi mereka akan menjadi penting di ruang ini. Mereka membantu membangun banyak teknologi yang membentuk ChatGPT dan membuat chatbot mereka sendiri, yang belum dirilis ke masyarakat umum. Saya perkirakan kemampuannya akan sebanding dengan ChatGPT.
Ada perusahaan di Toronto bernama Coherence yang melakukan hal serupa; di AS ada perusahaan bernama Character.AI yang didirikan oleh mantan Googler; ada perusahaan lain bernama Inflection AI, yang didirikan oleh salah satu pendiri DeepMind of. DeepMind adalah lab penting lainnya yang berbasis di London, yang pada dasarnya dimiliki oleh Google.
Teknologi Tencent:
Untuk perusahaan yang berkembang di segmen AI, di mana peluangnya?
Cade Metz:
Cara kerja domain kecil ini adalah begitu seseorang membangun sistem yang disebut model bahasa besar, Anda dapat menggunakannya untuk membangun semua jenis teknik lainnya. Anda dapat membuat chatbot, Anda dapat membuat mesin pencari, Anda dapat membuat tutor pribadi. **Jadi yang dilakukan OpenAI adalah mereka membangun sistem inti ini. Mereka menyebutnya GPT-4, dan kemudian mereka menawarkan sistem ini ke bisnis lain mana pun yang ingin menggunakannya. Ini adalah cara untuk membuat aplikasi lain.
Itulah yang mulai kita lihat. **Saya pikir Anda akan melihat perusahaan seperti OpenAI menawarkan layanan semacam ini. Setiap orang dapat menggunakannya untuk membangun aplikasi mereka sendiri di atasnya. **Jadi menurut saya ada banyak peluang di mana perusahaan dapat mengambil layanan inti ini dan kemudian membangun hal baru di atasnya dan menjual aplikasi tersebut. Tetapi yang paling sulit adalah membangun layanan inti ini, dan tidak banyak perusahaan yang dapat melakukannya. Di Amerika Serikat, ada raksasa seperti Google, Microsoft, dan Meta, dan hanya sedikit startup yang memiliki modal dan bakat yang dibutuhkan. Seperti yang saya katakan sebelumnya, Anda membutuhkan ratusan juta dolar untuk membangun sistem inti ini. **Jadi saat ini sulit bagi perusahaan kecil untuk bersaing dengan mereka dalam hal membangun model dasar. **
Banyak orang berpikir bahwa ketika harga turun dan proyek open source meningkat, akan lebih mudah bagi orang untuk membangun sistem inti mereka sendiri, dan itu pada akhirnya akan berubah. Tapi saya tidak yakin.
Dua pencapaian dalam pengembangan AI: lelang dan lahirnya ChatGPT
Teknologi Tencent:
Sebagai penulis AI senior, Anda pada dasarnya berfokus pada bidang pembelajaran mendalam dalam karir sepuluh tahun Anda, dan Anda telah menetapkan semua peran penting di bidang ini dan berpartisipasi dalam berbagai momen menentukan di antaranya. . Apa yang mendorong Anda untuk memperhatikan bidang ini?
Cade Metz:
Sekitar tahun 2011 atau 2012, saya bergabung dengan Wired di San Francisco. Ini adalah salah satu area yang saya putuskan untuk fokus. Saat itu lebih dari sepuluh tahun yang lalu, sudah tercium bahwa bidang ini akan menjadi sangat penting. Saat itulah beberapa momen penting terjadi yang membuat saya tertarik pada teknologi.
Hinton adalah protagonis dari buku "The Deep Learning Revolution" dan saya telah menulis tentang kebangkitannya dan konsep utama jaringan saraf yang telah mendorong banyak kemajuan dalam 10 tahun terakhir. Dia akhirnya bergabung dengan Google pada tahun 2013.
Belakangan saya mengetahui bahwa ini adalah lelang antara beberapa perusahaan teknologi terbesar di dunia, termasuk Google, Microsoft, dan Baidu China. Itu adalah momen yang sangat penting, dan Anda bisa melihat sesuatu mulai terjadi. Selama bertahun-tahun, saya mulai meliput ruang lebih banyak lagi, dan mengenal orang-orang seperti Hinton dan rekan lamanya Yann Lecun, yang akhirnya bergabung dengan Facebook dan sekarang Meta, di antara orang-orang lain di lapangan. Kami mulai melakukan banyak liputan di Wired, dan kemudian itu menjadi semakin besar. Akhirnya, saya memutuskan untuk menulis buku tentang bidang ini, yang terus saya bahas ketika saya pindah dari Wired ke The New York Times.
Teknologi Tencent:
Sebagai seorang reporter yang telah mengikuti AI sejak lama, seperti melalui sebuah siklus, Anda telah mengalami masa-masa sulit di bidang pembelajaran mesin, kecerdasan buatan. Menurut Anda, apa yang membuat Hinton dan lainnya bertahan?
Cade Metz:
Hinton mulai mengerjakan jaringan saraf pada tahun 1972. Saat itu, hampir tidak ada yang percaya bahwa itu akan berhasil, karena** seluruh bidang kecerdasan buatan mengabaikan arah jaringan saraf. Tapi ** Hinton adalah orang yang berpikiran sendiri, yang benar-benar percaya pada apa yang dia yakini, dan dia teguh ke arah itu.
**Pada tahun 1980-an, sebagian besar karena upaya Hinton sendiri, teknologi membuat beberapa kemajuan besar. Banyak orang mulai mempercayai ide ini lagi. Namun di awal tahun 90-an, orang menyerah lagi, tetapi dia terus bekerja, dan dia selalu mempertahankan sikap konsistennya. ** Mereka yakin ide tersebut akan terus meningkat, dan mereka benar. Bagian dari apa yang membuat cerita ini begitu menarik adalah bahwa mereka tetap bekerja meski menghadapi begitu banyak skeptisisme, bahkan dari rekan dekat mereka.
** Momen yang benar-benar membuka mata seluruh industri adalah apa yang sekarang dikenal sebagai kertas AlexNet. Makalah penelitian ini, yang ditulis oleh Hinton dan dua mahasiswanya di University of Toronto, menunjukkan bahwa jaringan saraf dapat mencapai sukses besar dalam pengenalan gambar**, mengidentifikasi objek dalam foto seperti bunga, mobil, orang, hewan, dll.
Ketika makalah itu diterbitkan pada 2012, itu membuka mata Google, Microsoft, Baidu, dan akhirnya Facebook. Kita dapat melihat perang untuk bakat ini, terburu-buru untuk menerapkan ide ini di dalam beberapa perusahaan terbesar di planet ini, tidak hanya untuk pengenalan gambar, tetapi untuk pengenalan ucapan, terjemahan, dan sebagainya. Makalah itu adalah momen yang sangat penting. Itu sebabnya buku saya dimulai dengan kertas itu, ** saat itulah Hinton melelang perusahaannya kepada penawar tertinggi, dan itu memicu segalanya. **
Sejak saat itu hingga hari ini, kami terus meningkatkan. Kebangkitan kesadaran industri yang disebutkan di atas pada tahun 2012 adalah momen kritis, dan 10 tahun kemudian, ChatGPT dirilis, yang merupakan momen kritis lainnya. Kedua momen ini merupakan titik balik yang sangat penting ketika kita melihat kembali sejarah AI.
Teknologi Tencent:
**Dalam buku Anda, Anda menjelaskan pengembangan pembelajaran mendalam, dan pencapaian produk seperti AlphaGo, Deepfake, dan seri GPT telah memicu diskusi publik yang luas. Namun hingga kemunculan ChatGPT, semua orang benar-benar merasakan revolusi industri yang sesungguhnya akan datang, apa yang membuat seri GPT begitu berbeda? **
Cade Metz:
Ini pertanyaan yang bagus. Teknologi terkait GPT dan ChatGPT telah dikembangkan selama beberapa waktu. Beberapa perusahaan telah mengembangkan teknik ini selama lima tahun terakhir, dengan OpenAI akhirnya mengembangkan Chat GPT, dan perusahaan seperti Google, Meta (sebelumnya Facebook) dan Microsoft juga mulai mengembangkan apa yang disebut model bahasa besar lima tahun lalu.
Ide di balik teknologi ini adalah membangun jaringan saraf, sebuah sistem matematika yang dapat belajar dari data. Berikan sebanyak mungkin teks, dan ia menganalisis teks itu, dan dalam proses menganalisis teks itu, ia belajar menghasilkan teks itu sendiri. Dengan menganalisis artikel Wikipedia, posting blog, log obrolan, dan berbagai konten di Internet, ia mengenali pola dalam cara kami menyusun kata dan belajar melakukannya. Kami telah melihat teknologi ini membuahkan hasil selama beberapa tahun terakhir, dan beberapa sistem menarik telah dirilis.
OpenAI merilis GPT-2, GPT-3, semuanya sangat mengesankan. Kita bisa melihat sistem ini mulai menghasilkan teks seperti manusia. Namun rilis ChatGPT-lah yang benar-benar membuat masyarakat umum menyadari hal ini. Perusahaan lain telah merilis chatbot mereka sendiri bahkan berbulan-bulan, berminggu-minggu yang lalu, seperti Meta (ex-Facebook) merilis chatbot di komunitas ilmiah, tetapi itu tidak hanya tidak menarik bagi orang-orang, tetapi juga dikritik sebagai ejekan. Karena itu menciptakan disinformasi dan orang-orang sangat kesal karenanya. Meta dengan cepat mengambilnya. Namun tak lama setelah itu, OpenAI merilis ChatGPT di Twitter.
**Menjadi populer sebagian karena cara perilisannya, dan sebagian lagi karena perusahaan yang merilisnya. Tetapi ChatGPT meningkatkan beberapa aspek teknis utama. Karena dalam membangun model bahasa besar yang dipelajari dari seluruh internet, mereka menerapkan umpan balik manusia kepada mereka. Mereka meminta manusia untuk menilai respons chatbot. Apakah mereka meminta manusia untuk menilai respons sebagai baik? apakah itu nyata Apakah itu bekerja? Mereka memberikan suka atau tidak suka, dan kemudian mereka memasukkan peringkat tersebut kembali ke sistem dan membiarkannya belajar dari peringkat tersebut. **
Dengan cara ini, mereka mampu mengasahnya hingga hampir setiap chatbot diminta, menghasilkan teks yang meyakinkan. Itu mungkin tidak selalu benar dan masih menghasilkan disinformasi, tetapi ** itu berkomunikasi kepada orang-orang dengan cara responsif yang sebenarnya digunakan manusia. Bukan hanya dengan para ahli di bidangnya, tapi dengan siapa saja. Ini benar-benar menangkap imajinasi orang. **Telah terjadi pergeseran persepsi masyarakat yang nyata terhadap teknologi ini, tidak hanya di kalangan masyarakat biasa, tetapi juga di kalangan banyak peneliti di bidang teknologi ini. Popularitas ChatGPT telah mengantarkan era baru teknologi jenis ini dan perlombaan baru menuju kecerdasan buatan yang semakin mengesankan.
Teknologi Tencent:
Jadi menurut Anda, faktor kunci teknis keberhasilan ChatGPT terutama adalah RLHF (Belajar dengan Umpan Balik Manusia)?
Cade Metz:
Ya, jika Anda menggunakan beberapa versi sebelumnya, seperti **GPT-3, terkadang akan sangat mengesankan jika Anda menanyakannya dengan cara tertentu. Misalnya, jika Anda memintanya untuk berpidato dengan gaya Donald Trump, ada sekitar setengah kemungkinannya akan menghasilkan pidato yang mengesankan. Ini seperti melempar dadu, terkadang itu akan memberi Anda apa yang Anda inginkan, dan terkadang tidak. Dalam hal ini sistem tersebut tidak menarik perhatian orang awam. **Tetapi mereka mengambil sistem dasar ini, tetapi setiap kali sistem menghasilkan jawaban, mereka meminta annotator untuk menilainya. Itu dapat mengambil peringkat dari manusia, melihat bagaimana mereka menilai respons tersebut, dan menggunakannya untuk melatih ulang sistem. Anotator memberi tahu GPT jawaban seperti apa yang baik dan jawaban seperti apa yang buruk.
Akhirnya, OpenAI mendapatkan chatbot yang dapat berkomunikasi seperti manusia hampir setiap saat. Mereka menempatkan sistem ini di depan orang biasa, dan diskusi panas ini adalah cara orang menanggapi kemunculannya. Di Twitter, siapa pun dapat menggunakannya, dan orang-orang benar-benar meresponsnya.
AGI masih jauh, namun kedatangannya akan menggantikan semua nilai kerja manusia
Teknologi Tencent:
Beberapa waktu lalu, Musk mengatakan dalam sebuah wawancara bahwa AGI akan terwujud dalam 5 atau 6 tahun, apakah menurut Anda AGI akan menjadi tujuan yang mudah?
Cade Metz:
Sangat sulit untuk mengatakannya, dan ada banyak kontroversi tentang masalah ini. ** Kami tahu bahwa sistem AI saat ini jauh dari level itu. Mereka dapat menghasilkan bahasa dengan cara yang mengesankan, tetapi mereka tidak dapat berpikir seperti manusia, juga tidak memiliki akal sehat manusia. **
Banyak orang percaya bahwa kami membutuhkan cara baru untuk memberi mereka kemampuan ini, dan metode kami saat ini tidak dapat membuat mereka mencapai AGI. Mereka perlu tahu lebih banyak tentang dunia fisik dari sekedar bahasa. Ada banyak perdebatan dan ketidaksepakatan tentang hal ini, tetapi ini jelas bukan sesuatu yang perlu kita pikirkan hari ini, dan kita juga belum cukup dekat dengan AGI.
Teknologi Tencent:
Menurut Anda apa kekurangan sistem saat ini dibandingkan dengan kecerdasan buatan umum yang sebenarnya?
Cade Metz:
Saat sistem ini digunakan, kelemahan AI saat ini dapat dengan mudah ditemukan. Jika Anda mencoba membuat mereka bernalar seperti manusia, terkadang mereka bisa meniru, tetapi seringkali tidak.
Inilah kesulitan sebenarnya. **Perbedaan terbesar antara mereka dan AGI adalah mereka menghasilkan teks yang masuk akal dan benar-benar dapat bernalar. **
**Sistem ini sangat bagus dalam menangani hal-hal yang terjadi di masa lalu, yaitu sesuatu yang didokumentasikan di internet. Tapi mereka tidak berbicara tentang masa depan dan berspekulasi tentang apa yang mungkin terjadi. ** Anda dan saya dapat melakukan percakapan ini di mana kita berbicara tentang masa depan dan memikirkan tentang apa yang mungkin terjadi. Sistem ini tidak pandai melakukan ini. Mereka pandai meniru apa yang telah mereka lihat sebelumnya. Jadi mereka sangat bagus dalam melewati tes standar. Mereka melakukannya dengan sangat baik dalam ujian seperti hukum dan sains sekolah menengah dan matematika sehingga mereka mendapat banyak perhatian di media.
**Tetapi penelitian lain menunjukkan bahwa jika Anda hanya memberi mereka pertanyaan yang benar-benar baru, pertanyaan yang ditulis setelah mereka dilatih, mereka tidak akan bekerja dengan baik. Jadi saat mereka menjawab semua pertanyaan standar ini, mereka belum tentu bernalar. ** Apa yang mereka lakukan adalah mengulangi apa yang terlihat sebelumnya.
Teknologi Tencent:
Mengenai ancaman AI, seperti opasitas, Anda merekam bagian yang menarik dari Hinton dalam buku "Orang perlu hidup dengan masalah 'kotak hitam', bahkan jika Anda tidak dapat melihat cara kerjanya, mereka akan melakukan apa yang seharusnya. lakukan" , tetapi baru-baru ini Hinton keluar dari Google, dan Anda juga melakukan wawancara dengannya, di mana dia mengungkapkan banyak kekhawatiran tentang AI. Bagaimana Anda memahami perubahan sikap Hinton terhadap AI?
Cade Metz:
Pemikirannya pasti telah berubah. Ketika saya menerbitkan buku itu, menurutnya risiko AI cukup jauh. Namun dalam setahun terakhir, dia berubah pikiran saat melihat teknologi ChatGPT yang kita lihat sekarang.
Dia menyadari bahwa dalam beberapa hal sistem lebih kuat daripada otak manusia. ** Anda dan saya tidak dapat memahami seluruh Internet, itu di luar jangkauan manusia. Kita tidak bisa belajar dari data sebanyak ini, tapi sistemnya bisa. **Dia khawatir mereka digunakan untuk menyebarkan disinformasi, dalam hal ini teks yang tidak nyata, gambar yang tidak nyata, video yang tidak nyata.
**Selain itu, dia juga khawatir tentang sistem yang mulai mengambil pekerjaan orang; juga khawatir tentang beberapa masalah yang lebih besar, seperti sistem otomatis yang digunakan di medan perang, digunakan sebagai senjata; dia bahkan khawatir di jangka waktu yang lebih lama, kita akan kehilangan kendali atas AI. **
Teknologi Tencent:
Kolega lama Hinton, Yann Lecun, dan ilmuwan AI lainnya akhir-akhir ini banyak berbicara tentang media yang membesar-besarkan kemampuan dan ancaman AI. Apakah Anda pikir dia benar? Dengan cara apa media mungkin memperumit masalah ini lebih dari yang sebenarnya?
Cade Metz:
** Saya pikir media melebih-lebihkan. Saat Chat GPT pertama kali dirilis, orang tidak melihat kekurangannya, dan butuh waktu lama sebelum mereka menyadari bahwa itu menghasilkan informasi yang salah untuk menyesatkan orang. Banyak orang, termasuk jurnalis, kesulitan memahami apa yang terjadi. Oleh karena itu, Mereka terus menyesatkan orang saat mereka menyebar. **Dalam hal ini, over-hyping dapat dengan mudah terjadi.
Tentu saja, terkadang kesengajaan yang dilebih-lebihkan muncul dari kesalahpahaman, tetapi beberapa orang sengaja menggembar-gemborkan dan yang lain tidak sadar. Tapi saya pikir itu sebagian besar karena orang tidak sepenuhnya memahami apa yang mereka lihat.
Teknologi Tencent:
Menurut Anda apa signifikansi historis dari ledakan AI saat ini? Apakah ini awal dari revolusi industri baru?
Cade Metz:
Itu mungkin. Saya pikir kami akan terus melihat peningkatan pada sistem ini. **Mereka akan dapat menangani tidak hanya teks, tetapi juga gambar. Kami telah melihat versi terbaru dari teknologi yang dibuat oleh OpenAI mengambil gambar dan mendeskripsikan apa yang ada di dalamnya, menjawab pertanyaan tentangnya. Ini belum publik, tapi itu bagian dari apa yang telah mereka bangun. Ini menjanjikan semakin banyak keterampilan yang mirip dengan manusia dan terus mengubah pekerjaan orang.
Jadi saya pikir apa yang telah kita lihat dalam enam bulan terakhir menunjukkan bahwa kita akan mengalami perubahan yang sangat besar dalam beberapa tahun ke depan. Transformasi ini tampaknya akan menjangkau sejauh revolusi industri pertama. Kami masih dalam tahap awal. Hal-hal ini seringkali berjalan lebih lambat dari yang dipikirkan orang. Tapi saya pikir kita menuju ke arah itu.
Teknologi Tencent:
Menurut Anda bagaimana AI akan membentuk kembali masyarakat ini? Di manakah nilai manusia saat AGI diwujudkan?
Cade Metz:
Saya rasa akan menjadi situasi yang sulit bagi manusia untuk benar-benar memiliki sistem yang dapat melakukan apa pun yang dapat dilakukan oleh otak manusia, yang disebut AGI.
**Jika mesin dapat melakukan semua yang dapat dilakukan manusia, maka nilai seorang pekerja akan turun menjadi nol karena akan lebih murah menggunakan mesin daripada mempekerjakan manusia. Menurut pendapat saya, ini bukan situasi yang baik bagi manusia. ** Tapi AI belum ada.
Ambil pemrogram komputer sebagai contoh. Saat ini, sistem dapat menghasilkan program komputer dan kode komputer dengan sangat baik, tetapi kode tersebut mungkin masih memiliki cacat. Masih membutuhkan pemrogram manusia yang berpengalaman untuk mengambil alih kode yang dihasilkan, mengedit, dan mengintegrasikannya. program yang lebih besar, akhirnya membangun aplikasi. Karena sistem ini menjadi lebih baik dari waktu ke waktu, mereka akan menggantikan lebih banyak hal yang dilakukan manusia. Masalah pada tahap ini adalah AI akan segera mulai menggantikan programmer junior yang kurang berpengalaman, orang-orang yang berada di bawah industri programmer, yang melakukan hal yang sama seperti AI, menulis beberapa kode dasar dan menyerahkannya kepada yang lebih berpengalaman. programmer.orang untuk mengintegrasikan.
** Saat AI terus meningkat, mesin pasti akan mengubah banyak hal, tetapi kita tidak berada pada titik di mana AI akan tiba-tiba menggantikan banyak pekerjaan. **
Kekhawatiran lain yang saya miliki adalah bahwa sistem ini dapat menghasilkan teks dan gambar yang realistis. Mereka bahkan mulai membuat video dengan cepat, kami tidak akan dapat mengetahui apa yang nyata dari apa yang tidak ada di internet, dan benar-benar harus mengubah pola pikir kami saat menjelajahi hampir semua hal di internet. Anda harus bertanya kepada massa apakah mereka memiliki kekuatan untuk mengubah cara berpikir mereka secara umum. **