Huang Renxun, mengenakan jaket kulit, berdiri di atas papan selancar biru dan melakukan beberapa pose selancar.
Ini bukan VidCon, "Festival Merah Internet" di Amerika Serikat, tetapi sebuah adegan di konferensi pengembang Snowflake, platform data terkenal di Amerika Serikat.
Pada 26 Juni waktu setempat, pendiri Nvidia Huang Renxun dan CEO Snowflake Frank Slootman membahas "cara membawa AI generatif ke pengguna perusahaan". Pembawa acaranya adalah mantan Greylock GP, yang kini menjadi pendiri lembaga investasi Conviction.
Pada pertemuan tersebut, dibandingkan dengan manajer profesional yang matang dan bijaksana dari "tuan rumah" Frank, "Godfather in Leather" selalu mencengangkan, tidak hanya mengatakan bahwa kerja sama antara kedua pihak adalah "Kami Pecinta, bukan Pejuang" ( Kami adalah Pecinta, bukan Pejuang), Lebih lucu lagi bahwa model terlatih yang disediakan untuk Snowflake setara dengan "diskon 10%" kepada pelanggan.
Pada hari yang sama, Nvidia dan Snowflake bersama-sama merilis langkah besar lainnya: perusahaan chip No.1 dunia bekerja sama dengan platform data cloud paling populer untuk meluncurkan kerja sama bersama. **Pengguna Snowflake dapat langsung menggunakan model AI terlatih Nvidia untuk menganalisis data perusahaan mereka sendiri di platform cloud tanpa meninggalkan platform, dan mengembangkan "aplikasi AI" untuk data mereka sendiri. **
"Perubahan besar saat ini berasal dari data + algoritme AI + mesin komputasi. Melalui kerja sama kami, kami dapat menyatukan ketiga poin ini," kata Huang Renxun.
Poin Pembicaraan：
Model bahasa besar + basis data khusus perusahaan = aplikasi AI untuk masalah tertentu;
Dulu Data akan Bekerja, tetapi sekarang Bekerja akan Data, memungkinkan komputasi untuk pergi ke tempat data berada, menghindari pulau data;
Model pra-pelatihan yang disediakan oleh Nvidia telah dilatih di pabrik Nvidia AI dengan biaya puluhan juta dolar, jadi memanggil mesin komputasi di Snowflake sudah "diskon 0,5%";
Di era perangkat lunak 3.0, berdasarkan model dan database, perusahaan dapat membangun aplikasi eksklusif mereka sendiri dalam beberapa hari;
Di masa depan, perusahaan akan dapat menghasilkan banyak agen cerdas dan menjalankannya;
Untuk perusahaan, masalah sebenarnya adalah bagaimana memobilisasi campuran data terstruktur dan tidak terstruktur. Ini dapat menyebabkan pembaruan model bisnis.
Berikut isi utama dialog antara kedua belah pihak, diedit oleh Geek Park:
01 Bicara tentang kerja sama: bawa mesin komputasi terbaik ke data paling berharga
Jujur:
NVIDIA saat ini memainkan peran penting dalam sejarah. Bagi kami, mampu membawa data dan relasi ke perusahaan besar. Kami perlu mengaktifkan teknologi ini, dan seluruh tumpukan layanan untuk menggunakannya secara efektif. Saya tidak ingin menggambarkannya sebagai "pasangan yang dibuat di surga", tetapi bagi orang awam, ini adalah kesempatan yang baik untuk memasuki pintu kesempatan ini.
Huang Renxun:
Kami adalah kekasih, bukan saingan. **Kami ingin menghadirkan mesin komputasi terbaik dunia ke data paling berharga di dunia. Menengok ke belakang, saya sudah lama bekerja, tapi saya belum setua itu. Frank, kamu lebih tua (tertawa). **
Baru-baru ini, data sangat besar dan data sangat berharga karena alasan yang terkenal. Itu harus aman. Memindahkan data itu sulit, dan gravitasi data itu nyata. Jadi jauh lebih mudah bagi kami untuk membawa mesin komputasi kami ke Snowflake. Kemitraan kami adalah tentang mempercepat Kepingan Salju, tetapi juga tentang membawa AI ke Kepingan Salju. **
**Intinya adalah kombinasi data + algoritme kecerdasan buatan + mesin komputasi, kemitraan kami menggabungkan ketiga hal tersebut menjadi satu. **Data yang sangat berharga, kecerdasan buatan yang luar biasa hebat, mesin kalkulasi yang luar biasa hebat.
Apa yang dapat kita lakukan bersama adalah membantu pelanggan mengambil data hak milik mereka dan menggunakannya untuk menulis aplikasi AI. Tahukah Anda, terobosan besar di sini adalah untuk pertama kalinya Anda dapat mengembangkan model bahasa yang besar. Anda meletakkannya di depan data Anda, dan kemudian Anda berbicara dengan data Anda seperti Anda berbicara dengan manusia, dan data tersebut ditambah menjadi model bahasa yang besar.
Kombinasi model bahasa yang besar ditambah basis pengetahuan sama dengan aplikasi AI. ** Yang ini sederhana, model bahasa besar mengubah basis pengetahuan data apa pun menjadi aplikasi. **
Pikirkan semua aplikasi luar biasa yang telah ditulis orang. Intinya, selalu ada beberapa data berharga. Sekarang Anda memiliki mesin kueri mesin kueri umum di bagian depan, ini sangat pintar, Anda dapat membuatnya merespons Anda, tetapi Anda juga dapat menghubungkannya ke proxy, yang merupakan terobosan yang dibawa oleh basis data Langchain dan vektor. Hal-hal terobosan yang melapisi data dan model bahasa besar terjadi di mana-mana, dan semua orang ingin melakukannya. Dan Frank dan saya akan membantu Anda melakukan itu.
02 Software 3.0: Bangun aplikasi AI untuk memecahkan masalah tertentu
tuan rumah:
Saat seorang investor melihat perubahan ini, perangkat lunak 1.0 adalah kode yang sangat deterministik yang ditulis oleh para insinyur secara fungsional; perangkat lunak 2.0 mengoptimalkan jaringan saraf dengan data pelatihan berlabel yang dikumpulkan dengan hati-hati.
Kalian membantu orang memanfaatkan Software 3.0, satu set model dasar yang sangat mampu sendiri, tetapi mereka masih perlu bekerja dengan data perusahaan dan dataset kustom. Jauh lebih murah untuk hanya mengembangkan aplikasi itu melawan mereka.
**Satu pertanyaan bagi mereka yang mendalami bidang ini, model yang mendasarinya sangat umum, dapatkah semuanya dilakukan? Mengapa kita memerlukan model khusus dan data perusahaan? **
Jujur:
Jadi kami memiliki model yang sangat umum yang dapat mengerjakan puisi, membuat ringkasan The Great Gatsby, mengerjakan soal matematika.
Namun dalam bisnis, kita tidak membutuhkan ini. Yang kita butuhkan adalah seorang Copilot untuk mendapatkan wawasan yang luar biasa pada kumpulan data yang sangat sempit namun sangat kompleks.
Kita perlu memahami model bisnis dan dinamika bisnis. Ini tidak perlu terlalu mahal secara komputasi, karena model tidak perlu dilatih tentang sejuta hal, tetapi hanya perlu mengetahui sangat sedikit, tetapi topik yang mendalam.
Misalnya. Saya berada di dewan Instacart dan salah satu pelanggan besar kami, seperti DoorDash dan semua bisnis lain yang memiliki masalah adalah mereka terus meningkatkan pengeluaran pemasaran mereka, pelanggan datang, pelanggan memesan dan pelanggan juga tidak tidak kembali atau kembali dalam 90 hari, yang sangat tidak stabil. Mereka menyebutnya churn.
Ini adalah analisis masalah yang rumit karena ada banyak alasan mengapa pelanggan tidak kembali. Orang-orang ingin menemukan jawaban atas pertanyaan-pertanyaan ini, dan jawabannya ada di data, bukan di Internet umum, dan dapat ditemukan melalui kecerdasan buatan. Ini adalah contoh di mana nilai besar dapat dihasilkan.
tuan rumah:
Bagaimana seharusnya model ini berinteraksi dengan data perusahaan?
Huang Renxun:
Strategi dan produk kami adalah model pra-terlatih yang canggih dari semua ukuran, dan terkadang Anda perlu membuat model pra-terlatih yang sangat besar agar dapat diproduksi untuk mengajar model yang lebih kecil.
Dan model yang lebih kecil dapat berjalan di hampir semua perangkat, mungkin dengan latensi yang sangat rendah. Namun, kemampuan generalisasinya tidak tinggi, dan kemampuan zero shot (zero sample learning) mungkin lebih terbatas.
Jadi Anda mungkin memiliki beberapa model dengan jenis dan ukuran yang berbeda, tetapi dalam setiap kasus Anda harus melakukan penyetelan halus yang diawasi, Anda harus melakukan RLHF (pembelajaran penguatan dengan umpan balik manusia) agar tetap sesuai dengan tujuan dan prinsip Anda Secara konsisten, Anda perlu untuk menambahnya dengan sesuatu seperti database vektor, sehingga semuanya menyatu dalam satu platform. Kami memiliki keterampilan, pengetahuan, dan platform dasar untuk membantu mereka membuat AI mereka sendiri dan kemudian menghubungkannya ke data di Snowflake.
Sekarang, ** tidak seharusnya menjadi tujuan setiap pelanggan perusahaan untuk memikirkan tentang bagaimana cara membangun model bahasa yang besar, tujuan mereka seharusnya adalah, bagaimana cara membangun aplikasi AI untuk memecahkan masalah tertentu? ** Aplikasi itu mungkin membutuhkan 17 pertanyaan untuk akhirnya menghasilkan jawaban yang benar. Dan kemudian Anda mungkin berkata, saya ingin menulis sebuah program, bisa berupa program SQL, bisa berupa program Python, sehingga saya bisa melakukannya secara otomatis di masa mendatang.
**Kamu masih harus memandu kecerdasan buatan ini sehingga dia akhirnya bisa memberimu jawaban yang benar. **Namun setelah itu, Anda dapat membuat aplikasi yang dapat berjalan 24/7 sebagai agen (Agen), mencari situasi yang relevan, dan melaporkan terlebih dahulu kepada Anda. Jadi, tugas kami adalah membantu pelanggan membuat aplikasi kecerdasan buatan ini, yang spesifik dan disesuaikan dengan pagar pengaman.
Pada akhirnya, kita semua akan menjadi produsen yang cerdas di masa depan, tentu saja mempekerjakan karyawan, tetapi kita akan membuat banyak agen yang dapat dibuat dengan sesuatu seperti Lang Chain, model yang terhubung, basis pengetahuan, API lain, disebarkan di cloud, dan sambungkan ke semua data Snowflake.
Anda dapat mengoperasikan AI ini dalam skala besar dan meningkatkan AI ini secara terus menerus. Jadi masing-masing dari kita akan membuat AI, menjalankan pabrik AI. Kami akan menempatkan infrastruktur di database Snowflake, tempat pelanggan dapat menggunakan data mereka, melatih dan mengembangkan model mereka, mengoperasikan AI mereka, sehingga Snowflake akan menjadi tempat penyimpanan dan bank data Anda.
Dengan tambang emas data mereka sendiri, semua akan menjalankan pabrik AI di Snowflake. Inilah tujuannya.
03 Meskipun "Bom Nuklir" mahal, menggunakan modelnya secara langsung setara dengan "diskon 10%"
Huang Renxun:
Kami telah mendirikan lima pabrik AI di NVIDIA, empat di antaranya adalah 500 superkomputer teratas dunia, dan satu lagi sedang dalam proses. Kami menggunakan superkomputer ini untuk melakukan model pra-pelatihan. Jadi, saat Anda menggunakan layanan basis AI Nemo kami di Snowflake, Anda mendapatkan model pra-terlatih canggih yang harganya sudah puluhan juta dolar, belum lagi R&D. Jadi itu pra-dilatih.
Lalu ada banyak model lain di sekitarnya yang digunakan untuk menyempurnakan, RLHF. Semua model ini jauh lebih mahal untuk dilatih.
Jadi sekarang Anda telah mengadaptasi model pra-terlatih ke fitur Anda, ke pagar pembatas Anda, dioptimalkan untuk jenis keterampilan atau fitur yang Anda inginkan, ditambah dengan data Anda. Oleh karena itu, ini akan menjadi pendekatan yang lebih hemat biaya.
Lebih penting lagi, dalam hitungan hari, bukan bulan. Anda dapat mengembangkan aplikasi AI yang terhubung ke data Anda di Snowflake.
Anda harus dapat membangun aplikasi AI dengan cepat di masa mendatang.
Karena kita melihatnya terjadi secara real time sekarang. Sudah ada aplikasi yang memungkinkan Anda mengobrol dengan data, seperti ChatPDF.
tuan rumah:
**Ya, di era software 3.0, 95% biaya pelatihan sudah ditanggung oleh orang lain. **
Huang Renxun:
(tertawa) Ya, diskon 95%, saya tidak bisa membayangkan penawaran yang lebih baik.
tuan rumah:
Itulah motivator sebenarnya, dan sebagai investor, saya telah melihat perusahaan yang sangat muda di bidang analitik, otomasi, hukum, dll., yang aplikasinya telah mencapai nilai bisnis nyata dalam waktu enam bulan atau kurang. Bagian dari itu adalah mereka memulai dengan model terlatih ini, yang merupakan peluang besar untuk bisnis.
Huang Renxun:
Setiap perusahaan akan memiliki ratusan, bahkan mungkin 1.000 aplikasi AI, yang terhubung ke semua jenis data di perusahaan Anda. Jadi, kita semua harus pandai membangun hal-hal ini.
04 Dulu bisnis cari data, sekarang bisnis cari data
tuan rumah:
Salah satu pertanyaan yang terus saya dengar dari para pemain bisnis besar adalah kita harus berinvestasi di AI, apakah kita memerlukan tumpukan baru? Bagaimana seharusnya kita berpikir tentang menghubungkan dengan tumpukan data kita yang ada?
Jujur:
Saya pikir itu berkembang. Model secara bertahap menjadi lebih sederhana, lebih aman, dan dikelola dengan lebih baik. Jadi, kami tidak memiliki pandangan yang sangat jelas bahwa ini adalah arsitektur referensi yang akan digunakan semua orang? Beberapa akan memiliki pengaturan untuk beberapa layanan pusat. Microsoft memiliki versi AI di Azure, dan banyak pelanggan mereka berinteraksi dengan Azure.
**Namun kami tidak tahu model apa yang akan mendominasi, menurut kami pasar akan memilah sendiri hal-hal seperti kemudahan penggunaan dan biaya. ** Ini hanyalah permulaan, bukan keadaan akhir.
Sektor keamanan juga akan dilibatkan, dan isu hak cipta akan direformasi. Sekarang kita terpesona oleh teknologi, masalah nyata akan ditangani pada saat yang bersamaan.
Huang Renxun:
Kami sekarang mengalami perubahan platform komputasi fundamental pertama dalam 60 tahun. Jika Anda baru saja membaca siaran pers IBM 360, Anda pernah mendengar tentang unit pemrosesan pusat, subsistem IO, pengontrol DMA, memori virtual, multitasking, komputasi yang dapat diskalakan kompatibel maju dan mundur, dan konsep-konsep ini, sebenarnya Semuanya tahun 1964, dan ini konsep telah membantu kami menskalakan CPU selama enam dekade terakhir.
Ekspansi semacam itu telah berlangsung selama 60 tahun, tetapi telah berakhir. Sekarang semua orang mengerti bahwa kami tidak dapat lagi menskalakan CPU, dan tiba-tiba, perangkat lunak berubah. Cara perangkat lunak ditulis, cara perangkat lunak beroperasi, dan apa yang dapat dilakukan perangkat lunak sangat berbeda dari sebelumnya. Kami menyebut perangkat lunak sebelumnya perangkat lunak 2.0. Sekarang perangkat lunak 3.0.
Sebenarnya, **komputasi telah berubah secara fundamental. Kami melihat dua dinamika mendasar terjadi pada saat yang sama, itulah sebabnya banyak hal bergetar hebat saat ini. **
Untuk satu hal, Anda tidak dapat terus membeli CPU. Jika Anda membeli banyak CPU lagi tahun depan, throughput komputasi Anda tidak akan meningkat. Karena akhir dari penskalaan CPU telah tiba. Anda akan membayar lebih banyak, dan Anda tidak akan mendapatkan throughput lagi. Jadi, jawabannya adalah Anda harus menggunakan akselerasi (Nvidia Accelerated Computing Platform). Pemenang Penghargaan Turing berbicara tentang akselerasi, Nvidia memelopori akselerasi, dan komputasi yang dipercepat kini hadir.
Di sisi lain, seluruh sistem operasi komputer telah mengalami perubahan besar. Kami memiliki lapisan yang disebut NVIDIA AI Enterprise, dan pemrosesan data, pelatihan, dan penerapan penalaran di dalamnya kini telah terintegrasi atau sedang diintegrasikan ke dalam Snowflake. Oleh karena itu, dari awal pemrosesan data hingga penerapan model besar terakhir, seluruh di belakang Mesin perhitungan telah dipercepat. Kami akan memberdayakan Snowflake, di mana Anda akan dapat melakukan lebih banyak, dan Anda akan dapat melakukan lebih banyak dengan lebih sedikit.
Jika Anda pergi ke cloud mana pun, Anda akan melihat bahwa GPU NVIDIA adalah entitas komputasi termahal di sana. Tetapi jika Anda membebaninya, Anda akan melihat bahwa kami melakukannya dengan sangat cepat. Sepertinya Anda mendapatkan diskon 95%. Kami adalah entitas komputasi termahal, tetapi kami adalah TCO yang paling hemat biaya.
Jadi, jika tugas Anda adalah menjalankan beban kerja, mungkin melatih model bahasa yang besar, mungkin menyempurnakan model bahasa yang besar, jika Anda ingin melakukannya, pasti percepat.
** Percepat setiap beban kerja, ini adalah pembentukan kembali seluruh tumpukan. **Prosesor berubah karenanya, sistem operasi berubah karenanya, model bahasa besar berbeda, cara Anda menulis aplikasi AI berbeda.
Di masa depan, kita semua akan menulis aplikasi. Kita semua harus menghubungkan konteks kita dan kita, dengan beberapa perintah Python, ke model bahasa besar dan database kita sendiri atau database perusahaan, dan mengembangkan aplikasi kita sendiri. Semua orang akan menjadi pengembang aplikasi.
tuan rumah:
Tapi hal yang sama, itu masih data Anda. Anda masih perlu menyempurnakannya.
Jujur:
Ternyata kita semua merasa bahwa lebih cepat selalu lebih mahal. Sebenarnya tiba-tiba, lebih cepat lebih murah, yang kontra-intuitif. Jadi terkadang orang ingin mengurangi pasokan, mengira lebih murah, dan ternyata lebih mahal.
Kontradiksi lain dengan yang sebelumnya adalah ** dulu data akan bekerja (data akan bekerja), tetapi sekarang, bisnis mencari data (pekerjaan akan data). ** Selama enam puluh tahun terakhir, atau lebih, kami telah membiarkan data masuk ke bisnis, yang menghasilkan silo informasi berskala besar. Dan jika ingin memiliki pabrik AI, akan sangat sulit jika menggunakan cara sebelumnya. Kita harus membawa komputasi ke tempat data berada. Saya pikir apa yang kita lakukan sekarang adalah cara yang benar.
05 Bagaimana perusahaan dapat memperoleh nilai tercepat dan terbaik
Jujur:
Menjadi yang tercepat dan mendapatkan nilai terbanyak sebenarnya adalah dua masalah yang sangat berbeda.
Jika ini yang tercepat, **Anda akan segera melihat bahwa metode pencarian yang ditingkatkan AI sedang online di mana-mana di database, karena ini adalah fungsi termudah untuk ditambahkan. ** Sungguh luar biasa bahwa bahkan orang yang buta huruf pun dapat memperoleh informasi berharga dari data sekarang, demokratisasi interaksi yang paling utama. Fungsi pencarian sangat ditingkatkan, Anda hanya mengajukan pertanyaan ke antarmuka utama, dan mereka dapat membawa pertanyaan ini ke data untuk kueri mereka sendiri. Itu buah yang menggantung rendah, yang paling mudah, menurut kami tahap pertama.
Selanjutnya, kita mulai benar-benar fokus pada masalah sebenarnya, yaitu data perusahaan berpemilik, struktur campuran, tidak terstruktur, semua ini, bagaimana kita memobilisasi data ini? **
Saya telah menyebutkan tingkat churn dan masalah manajemen rantai pasokan yang dihadapi oleh perusahaan C. Ketika rantai pasokan sangat kompleks, jika suatu peristiwa terjadi, bagaimana kita menyesuaikan kembali rantai pasokan agar berfungsi? Apa yang harus saya lakukan sekarang Rantai pasokan terdiri dari banyak entitas berbeda, bukan satu perusahaan. Secara historis, ini adalah masalah yang belum pernah diselesaikan secara komputasi. Manajemen rantai pasokan tidak pernah menjadi platform, ini lebih seperti email, spreadsheet, dengan beberapa pengecualian kecil. Jadi ini sangat menarik.
Atau kita dapat menghitung ulang investasi di pusat panggilan besar dan mengoptimalkan harga eceran Seperti yang saya katakan, ini adalah potensi nyata untuk mendefinisikan ulang model bisnis yang dinantikan oleh CEO perusahaan besar. **
06 Saran untuk perusahaan:
Huang Renxun:
** Saya akan bertanya pada diri sendiri, nomor satu, apa basis data saya yang paling berharga? Hal kedua, saya akan bertanya pada diri sendiri, jika saya memiliki orang yang super, super, super pintar, dan semua data di perusahaan melewati kecerdasan super itu, apa yang akan saya tanyakan kepada orang itu? **
Ini berbeda menurut perusahaan masing-masing orang. Database pelanggan perusahaan Frank sangat penting karena dia memiliki banyak pelanggan. Dan perusahaan saya sendiri, saya tidak memiliki banyak klien, tetapi untuk perusahaan saya, rantai pasokan saya sangat rumit, dan database desain saya sangat rumit.
**Untuk NVIDIA, kami tidak dapat membuat GPU tanpa kecerdasan buatan. Karena tidak ada teknisi kami yang dapat melakukan banyak iterasi dan eksplorasi untuk kami seperti AI. ** Oleh karena itu, saat kami mengusulkan kecerdasan buatan, aplikasi pertama ada di perusahaan kami sendiri. Selain itu, Hopper (produk superkomputer NVIDIA) tidak mungkin dirancang tanpa kecerdasan buatan.
Kami juga akan menerapkan AI kami sendiri ke data kami sendiri. Basis data bug kami adalah kasus penggunaan yang sempurna untuk ini. Jika Anda melihat jumlah kode di NVIDIA AI, kami memiliki ratusan paket perangkat lunak yang digabungkan, memungkinkan aplikasi untuk berjalan. Beberapa hal yang sedang kami kerjakan saat ini adalah bagaimana menggunakan AI untuk mengetahui cara menambal keamanannya, cara terbaik untuk mempertahankannya, sehingga kami tidak perlu mengganggu seluruh lapisan aplikasi atas sementara kompatibel dengan versi sebelumnya. .
Inilah yang dapat diberikan AI kepada Anda dengan jawaban. Kita dapat menggunakan model bahasa besar untuk menjawab pertanyaan ini, menemukan jawabannya untuk kita, atau mengungkapkan sesuatu kepada kita, dan kemudian teknisi dapat memperbaikinya. Atau AI dapat merekomendasikan metode perbaikan, dan teknisi manusia dapat memastikan apakah itu metode perbaikan yang baik.
Saya rasa tidak semua orang menyadari betapa banyak kecerdasan, wawasan, dan pengaruh yang tersembunyi dalam data yang mereka proses setiap hari. **Itulah sebabnya kita semua perlu terlibat dan membantu mewujudkan masa depan ini.
Kini, untuk pertama kalinya, data yang Anda simpan di gudang data dapat dihubungkan ke pabrik kecerdasan buatan. **Anda akan dapat menghasilkan intelijen informasi, komoditas paling berharga di dunia. Anda sedang duduk di tambang emas sumber daya alam - data hak milik perusahaan Anda, dan kami sekarang menghubungkannya ke mesin kecerdasan buatan, dan ujung lainnya adalah menghasilkan kecerdasan informasi secara langsung setiap hari, dengan jumlah kecerdasan yang luar biasa mengalir masuk dari ujung yang lain keluar, bahkan saat Anda tidur itu terus keluar. Itu hal terbaik yang pernah ada.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Huang Renxun: Daya komputasi AI Nvidia telah dijual dengan diskon 10%.
Pengarang | Ling Zijun, Li Yuan
Editor | Jing Yu
Huang Renxun, mengenakan jaket kulit, berdiri di atas papan selancar biru dan melakukan beberapa pose selancar.
Ini bukan VidCon, "Festival Merah Internet" di Amerika Serikat, tetapi sebuah adegan di konferensi pengembang Snowflake, platform data terkenal di Amerika Serikat.
Pada 26 Juni waktu setempat, pendiri Nvidia Huang Renxun dan CEO Snowflake Frank Slootman membahas "cara membawa AI generatif ke pengguna perusahaan". Pembawa acaranya adalah mantan Greylock GP, yang kini menjadi pendiri lembaga investasi Conviction.
Pada pertemuan tersebut, dibandingkan dengan manajer profesional yang matang dan bijaksana dari "tuan rumah" Frank, "Godfather in Leather" selalu mencengangkan, tidak hanya mengatakan bahwa kerja sama antara kedua pihak adalah "Kami Pecinta, bukan Pejuang" ( Kami adalah Pecinta, bukan Pejuang), Lebih lucu lagi bahwa model terlatih yang disediakan untuk Snowflake setara dengan "diskon 10%" kepada pelanggan.
Pada hari yang sama, Nvidia dan Snowflake bersama-sama merilis langkah besar lainnya: perusahaan chip No.1 dunia bekerja sama dengan platform data cloud paling populer untuk meluncurkan kerja sama bersama. **Pengguna Snowflake dapat langsung menggunakan model AI terlatih Nvidia untuk menganalisis data perusahaan mereka sendiri di platform cloud tanpa meninggalkan platform, dan mengembangkan "aplikasi AI" untuk data mereka sendiri. **
"Perubahan besar saat ini berasal dari data + algoritme AI + mesin komputasi. Melalui kerja sama kami, kami dapat menyatukan ketiga poin ini," kata Huang Renxun.
Poin Pembicaraan：
Berikut isi utama dialog antara kedua belah pihak, diedit oleh Geek Park:
01 Bicara tentang kerja sama: bawa mesin komputasi terbaik ke data paling berharga
Jujur:
NVIDIA saat ini memainkan peran penting dalam sejarah. Bagi kami, mampu membawa data dan relasi ke perusahaan besar. Kami perlu mengaktifkan teknologi ini, dan seluruh tumpukan layanan untuk menggunakannya secara efektif. Saya tidak ingin menggambarkannya sebagai "pasangan yang dibuat di surga", tetapi bagi orang awam, ini adalah kesempatan yang baik untuk memasuki pintu kesempatan ini.
Huang Renxun:
Kami adalah kekasih, bukan saingan. **Kami ingin menghadirkan mesin komputasi terbaik dunia ke data paling berharga di dunia. Menengok ke belakang, saya sudah lama bekerja, tapi saya belum setua itu. Frank, kamu lebih tua (tertawa). **
Baru-baru ini, data sangat besar dan data sangat berharga karena alasan yang terkenal. Itu harus aman. Memindahkan data itu sulit, dan gravitasi data itu nyata. Jadi jauh lebih mudah bagi kami untuk membawa mesin komputasi kami ke Snowflake. Kemitraan kami adalah tentang mempercepat Kepingan Salju, tetapi juga tentang membawa AI ke Kepingan Salju. **
**Intinya adalah kombinasi data + algoritme kecerdasan buatan + mesin komputasi, kemitraan kami menggabungkan ketiga hal tersebut menjadi satu. **Data yang sangat berharga, kecerdasan buatan yang luar biasa hebat, mesin kalkulasi yang luar biasa hebat.
Apa yang dapat kita lakukan bersama adalah membantu pelanggan mengambil data hak milik mereka dan menggunakannya untuk menulis aplikasi AI. Tahukah Anda, terobosan besar di sini adalah untuk pertama kalinya Anda dapat mengembangkan model bahasa yang besar. Anda meletakkannya di depan data Anda, dan kemudian Anda berbicara dengan data Anda seperti Anda berbicara dengan manusia, dan data tersebut ditambah menjadi model bahasa yang besar.
Kombinasi model bahasa yang besar ditambah basis pengetahuan sama dengan aplikasi AI. ** Yang ini sederhana, model bahasa besar mengubah basis pengetahuan data apa pun menjadi aplikasi. **
Pikirkan semua aplikasi luar biasa yang telah ditulis orang. Intinya, selalu ada beberapa data berharga. Sekarang Anda memiliki mesin kueri mesin kueri umum di bagian depan, ini sangat pintar, Anda dapat membuatnya merespons Anda, tetapi Anda juga dapat menghubungkannya ke proxy, yang merupakan terobosan yang dibawa oleh basis data Langchain dan vektor. Hal-hal terobosan yang melapisi data dan model bahasa besar terjadi di mana-mana, dan semua orang ingin melakukannya. Dan Frank dan saya akan membantu Anda melakukan itu.
02 Software 3.0: Bangun aplikasi AI untuk memecahkan masalah tertentu
tuan rumah:
Saat seorang investor melihat perubahan ini, perangkat lunak 1.0 adalah kode yang sangat deterministik yang ditulis oleh para insinyur secara fungsional; perangkat lunak 2.0 mengoptimalkan jaringan saraf dengan data pelatihan berlabel yang dikumpulkan dengan hati-hati.
Kalian membantu orang memanfaatkan Software 3.0, satu set model dasar yang sangat mampu sendiri, tetapi mereka masih perlu bekerja dengan data perusahaan dan dataset kustom. Jauh lebih murah untuk hanya mengembangkan aplikasi itu melawan mereka.
**Satu pertanyaan bagi mereka yang mendalami bidang ini, model yang mendasarinya sangat umum, dapatkah semuanya dilakukan? Mengapa kita memerlukan model khusus dan data perusahaan? **
Jujur:
Jadi kami memiliki model yang sangat umum yang dapat mengerjakan puisi, membuat ringkasan The Great Gatsby, mengerjakan soal matematika.
Namun dalam bisnis, kita tidak membutuhkan ini. Yang kita butuhkan adalah seorang Copilot untuk mendapatkan wawasan yang luar biasa pada kumpulan data yang sangat sempit namun sangat kompleks.
Kita perlu memahami model bisnis dan dinamika bisnis. Ini tidak perlu terlalu mahal secara komputasi, karena model tidak perlu dilatih tentang sejuta hal, tetapi hanya perlu mengetahui sangat sedikit, tetapi topik yang mendalam.
Misalnya. Saya berada di dewan Instacart dan salah satu pelanggan besar kami, seperti DoorDash dan semua bisnis lain yang memiliki masalah adalah mereka terus meningkatkan pengeluaran pemasaran mereka, pelanggan datang, pelanggan memesan dan pelanggan juga tidak tidak kembali atau kembali dalam 90 hari, yang sangat tidak stabil. Mereka menyebutnya churn.
Ini adalah analisis masalah yang rumit karena ada banyak alasan mengapa pelanggan tidak kembali. Orang-orang ingin menemukan jawaban atas pertanyaan-pertanyaan ini, dan jawabannya ada di data, bukan di Internet umum, dan dapat ditemukan melalui kecerdasan buatan. Ini adalah contoh di mana nilai besar dapat dihasilkan.
tuan rumah:
Bagaimana seharusnya model ini berinteraksi dengan data perusahaan?
Huang Renxun:
Strategi dan produk kami adalah model pra-terlatih yang canggih dari semua ukuran, dan terkadang Anda perlu membuat model pra-terlatih yang sangat besar agar dapat diproduksi untuk mengajar model yang lebih kecil.
Dan model yang lebih kecil dapat berjalan di hampir semua perangkat, mungkin dengan latensi yang sangat rendah. Namun, kemampuan generalisasinya tidak tinggi, dan kemampuan zero shot (zero sample learning) mungkin lebih terbatas.
Jadi Anda mungkin memiliki beberapa model dengan jenis dan ukuran yang berbeda, tetapi dalam setiap kasus Anda harus melakukan penyetelan halus yang diawasi, Anda harus melakukan RLHF (pembelajaran penguatan dengan umpan balik manusia) agar tetap sesuai dengan tujuan dan prinsip Anda Secara konsisten, Anda perlu untuk menambahnya dengan sesuatu seperti database vektor, sehingga semuanya menyatu dalam satu platform. Kami memiliki keterampilan, pengetahuan, dan platform dasar untuk membantu mereka membuat AI mereka sendiri dan kemudian menghubungkannya ke data di Snowflake.
Sekarang, ** tidak seharusnya menjadi tujuan setiap pelanggan perusahaan untuk memikirkan tentang bagaimana cara membangun model bahasa yang besar, tujuan mereka seharusnya adalah, bagaimana cara membangun aplikasi AI untuk memecahkan masalah tertentu? ** Aplikasi itu mungkin membutuhkan 17 pertanyaan untuk akhirnya menghasilkan jawaban yang benar. Dan kemudian Anda mungkin berkata, saya ingin menulis sebuah program, bisa berupa program SQL, bisa berupa program Python, sehingga saya bisa melakukannya secara otomatis di masa mendatang.
**Kamu masih harus memandu kecerdasan buatan ini sehingga dia akhirnya bisa memberimu jawaban yang benar. **Namun setelah itu, Anda dapat membuat aplikasi yang dapat berjalan 24/7 sebagai agen (Agen), mencari situasi yang relevan, dan melaporkan terlebih dahulu kepada Anda. Jadi, tugas kami adalah membantu pelanggan membuat aplikasi kecerdasan buatan ini, yang spesifik dan disesuaikan dengan pagar pengaman.
Pada akhirnya, kita semua akan menjadi produsen yang cerdas di masa depan, tentu saja mempekerjakan karyawan, tetapi kita akan membuat banyak agen yang dapat dibuat dengan sesuatu seperti Lang Chain, model yang terhubung, basis pengetahuan, API lain, disebarkan di cloud, dan sambungkan ke semua data Snowflake.
Anda dapat mengoperasikan AI ini dalam skala besar dan meningkatkan AI ini secara terus menerus. Jadi masing-masing dari kita akan membuat AI, menjalankan pabrik AI. Kami akan menempatkan infrastruktur di database Snowflake, tempat pelanggan dapat menggunakan data mereka, melatih dan mengembangkan model mereka, mengoperasikan AI mereka, sehingga Snowflake akan menjadi tempat penyimpanan dan bank data Anda.
Dengan tambang emas data mereka sendiri, semua akan menjalankan pabrik AI di Snowflake. Inilah tujuannya.
03 Meskipun "Bom Nuklir" mahal, menggunakan modelnya secara langsung setara dengan "diskon 10%"
Huang Renxun:
Kami telah mendirikan lima pabrik AI di NVIDIA, empat di antaranya adalah 500 superkomputer teratas dunia, dan satu lagi sedang dalam proses. Kami menggunakan superkomputer ini untuk melakukan model pra-pelatihan. Jadi, saat Anda menggunakan layanan basis AI Nemo kami di Snowflake, Anda mendapatkan model pra-terlatih canggih yang harganya sudah puluhan juta dolar, belum lagi R&D. Jadi itu pra-dilatih.
Lalu ada banyak model lain di sekitarnya yang digunakan untuk menyempurnakan, RLHF. Semua model ini jauh lebih mahal untuk dilatih.
Jadi sekarang Anda telah mengadaptasi model pra-terlatih ke fitur Anda, ke pagar pembatas Anda, dioptimalkan untuk jenis keterampilan atau fitur yang Anda inginkan, ditambah dengan data Anda. Oleh karena itu, ini akan menjadi pendekatan yang lebih hemat biaya.
Lebih penting lagi, dalam hitungan hari, bukan bulan. Anda dapat mengembangkan aplikasi AI yang terhubung ke data Anda di Snowflake.
Anda harus dapat membangun aplikasi AI dengan cepat di masa mendatang.
Karena kita melihatnya terjadi secara real time sekarang. Sudah ada aplikasi yang memungkinkan Anda mengobrol dengan data, seperti ChatPDF.
tuan rumah:
**Ya, di era software 3.0, 95% biaya pelatihan sudah ditanggung oleh orang lain. **
Huang Renxun:
(tertawa) Ya, diskon 95%, saya tidak bisa membayangkan penawaran yang lebih baik.
tuan rumah:
Itulah motivator sebenarnya, dan sebagai investor, saya telah melihat perusahaan yang sangat muda di bidang analitik, otomasi, hukum, dll., yang aplikasinya telah mencapai nilai bisnis nyata dalam waktu enam bulan atau kurang. Bagian dari itu adalah mereka memulai dengan model terlatih ini, yang merupakan peluang besar untuk bisnis.
Huang Renxun:
Setiap perusahaan akan memiliki ratusan, bahkan mungkin 1.000 aplikasi AI, yang terhubung ke semua jenis data di perusahaan Anda. Jadi, kita semua harus pandai membangun hal-hal ini.
04 Dulu bisnis cari data, sekarang bisnis cari data
tuan rumah:
Salah satu pertanyaan yang terus saya dengar dari para pemain bisnis besar adalah kita harus berinvestasi di AI, apakah kita memerlukan tumpukan baru? Bagaimana seharusnya kita berpikir tentang menghubungkan dengan tumpukan data kita yang ada?
Jujur:
Saya pikir itu berkembang. Model secara bertahap menjadi lebih sederhana, lebih aman, dan dikelola dengan lebih baik. Jadi, kami tidak memiliki pandangan yang sangat jelas bahwa ini adalah arsitektur referensi yang akan digunakan semua orang? Beberapa akan memiliki pengaturan untuk beberapa layanan pusat. Microsoft memiliki versi AI di Azure, dan banyak pelanggan mereka berinteraksi dengan Azure.
**Namun kami tidak tahu model apa yang akan mendominasi, menurut kami pasar akan memilah sendiri hal-hal seperti kemudahan penggunaan dan biaya. ** Ini hanyalah permulaan, bukan keadaan akhir.
Sektor keamanan juga akan dilibatkan, dan isu hak cipta akan direformasi. Sekarang kita terpesona oleh teknologi, masalah nyata akan ditangani pada saat yang bersamaan.
Huang Renxun:
Kami sekarang mengalami perubahan platform komputasi fundamental pertama dalam 60 tahun. Jika Anda baru saja membaca siaran pers IBM 360, Anda pernah mendengar tentang unit pemrosesan pusat, subsistem IO, pengontrol DMA, memori virtual, multitasking, komputasi yang dapat diskalakan kompatibel maju dan mundur, dan konsep-konsep ini, sebenarnya Semuanya tahun 1964, dan ini konsep telah membantu kami menskalakan CPU selama enam dekade terakhir.
Ekspansi semacam itu telah berlangsung selama 60 tahun, tetapi telah berakhir. Sekarang semua orang mengerti bahwa kami tidak dapat lagi menskalakan CPU, dan tiba-tiba, perangkat lunak berubah. Cara perangkat lunak ditulis, cara perangkat lunak beroperasi, dan apa yang dapat dilakukan perangkat lunak sangat berbeda dari sebelumnya. Kami menyebut perangkat lunak sebelumnya perangkat lunak 2.0. Sekarang perangkat lunak 3.0.
Sebenarnya, **komputasi telah berubah secara fundamental. Kami melihat dua dinamika mendasar terjadi pada saat yang sama, itulah sebabnya banyak hal bergetar hebat saat ini. **
Untuk satu hal, Anda tidak dapat terus membeli CPU. Jika Anda membeli banyak CPU lagi tahun depan, throughput komputasi Anda tidak akan meningkat. Karena akhir dari penskalaan CPU telah tiba. Anda akan membayar lebih banyak, dan Anda tidak akan mendapatkan throughput lagi. Jadi, jawabannya adalah Anda harus menggunakan akselerasi (Nvidia Accelerated Computing Platform). Pemenang Penghargaan Turing berbicara tentang akselerasi, Nvidia memelopori akselerasi, dan komputasi yang dipercepat kini hadir.
Di sisi lain, seluruh sistem operasi komputer telah mengalami perubahan besar. Kami memiliki lapisan yang disebut NVIDIA AI Enterprise, dan pemrosesan data, pelatihan, dan penerapan penalaran di dalamnya kini telah terintegrasi atau sedang diintegrasikan ke dalam Snowflake. Oleh karena itu, dari awal pemrosesan data hingga penerapan model besar terakhir, seluruh di belakang Mesin perhitungan telah dipercepat. Kami akan memberdayakan Snowflake, di mana Anda akan dapat melakukan lebih banyak, dan Anda akan dapat melakukan lebih banyak dengan lebih sedikit.
Jika Anda pergi ke cloud mana pun, Anda akan melihat bahwa GPU NVIDIA adalah entitas komputasi termahal di sana. Tetapi jika Anda membebaninya, Anda akan melihat bahwa kami melakukannya dengan sangat cepat. Sepertinya Anda mendapatkan diskon 95%. Kami adalah entitas komputasi termahal, tetapi kami adalah TCO yang paling hemat biaya.
Jadi, jika tugas Anda adalah menjalankan beban kerja, mungkin melatih model bahasa yang besar, mungkin menyempurnakan model bahasa yang besar, jika Anda ingin melakukannya, pasti percepat.
** Percepat setiap beban kerja, ini adalah pembentukan kembali seluruh tumpukan. **Prosesor berubah karenanya, sistem operasi berubah karenanya, model bahasa besar berbeda, cara Anda menulis aplikasi AI berbeda.
Di masa depan, kita semua akan menulis aplikasi. Kita semua harus menghubungkan konteks kita dan kita, dengan beberapa perintah Python, ke model bahasa besar dan database kita sendiri atau database perusahaan, dan mengembangkan aplikasi kita sendiri. Semua orang akan menjadi pengembang aplikasi.
tuan rumah:
Tapi hal yang sama, itu masih data Anda. Anda masih perlu menyempurnakannya.
Jujur:
Ternyata kita semua merasa bahwa lebih cepat selalu lebih mahal. Sebenarnya tiba-tiba, lebih cepat lebih murah, yang kontra-intuitif. Jadi terkadang orang ingin mengurangi pasokan, mengira lebih murah, dan ternyata lebih mahal.
Kontradiksi lain dengan yang sebelumnya adalah ** dulu data akan bekerja (data akan bekerja), tetapi sekarang, bisnis mencari data (pekerjaan akan data). ** Selama enam puluh tahun terakhir, atau lebih, kami telah membiarkan data masuk ke bisnis, yang menghasilkan silo informasi berskala besar. Dan jika ingin memiliki pabrik AI, akan sangat sulit jika menggunakan cara sebelumnya. Kita harus membawa komputasi ke tempat data berada. Saya pikir apa yang kita lakukan sekarang adalah cara yang benar.
05 Bagaimana perusahaan dapat memperoleh nilai tercepat dan terbaik
Jujur:
Menjadi yang tercepat dan mendapatkan nilai terbanyak sebenarnya adalah dua masalah yang sangat berbeda.
Jika ini yang tercepat, **Anda akan segera melihat bahwa metode pencarian yang ditingkatkan AI sedang online di mana-mana di database, karena ini adalah fungsi termudah untuk ditambahkan. ** Sungguh luar biasa bahwa bahkan orang yang buta huruf pun dapat memperoleh informasi berharga dari data sekarang, demokratisasi interaksi yang paling utama. Fungsi pencarian sangat ditingkatkan, Anda hanya mengajukan pertanyaan ke antarmuka utama, dan mereka dapat membawa pertanyaan ini ke data untuk kueri mereka sendiri. Itu buah yang menggantung rendah, yang paling mudah, menurut kami tahap pertama.
Selanjutnya, kita mulai benar-benar fokus pada masalah sebenarnya, yaitu data perusahaan berpemilik, struktur campuran, tidak terstruktur, semua ini, bagaimana kita memobilisasi data ini? **
Saya telah menyebutkan tingkat churn dan masalah manajemen rantai pasokan yang dihadapi oleh perusahaan C. Ketika rantai pasokan sangat kompleks, jika suatu peristiwa terjadi, bagaimana kita menyesuaikan kembali rantai pasokan agar berfungsi? Apa yang harus saya lakukan sekarang Rantai pasokan terdiri dari banyak entitas berbeda, bukan satu perusahaan. Secara historis, ini adalah masalah yang belum pernah diselesaikan secara komputasi. Manajemen rantai pasokan tidak pernah menjadi platform, ini lebih seperti email, spreadsheet, dengan beberapa pengecualian kecil. Jadi ini sangat menarik.
Atau kita dapat menghitung ulang investasi di pusat panggilan besar dan mengoptimalkan harga eceran Seperti yang saya katakan, ini adalah potensi nyata untuk mendefinisikan ulang model bisnis yang dinantikan oleh CEO perusahaan besar. **
06 Saran untuk perusahaan:
Huang Renxun:
** Saya akan bertanya pada diri sendiri, nomor satu, apa basis data saya yang paling berharga? Hal kedua, saya akan bertanya pada diri sendiri, jika saya memiliki orang yang super, super, super pintar, dan semua data di perusahaan melewati kecerdasan super itu, apa yang akan saya tanyakan kepada orang itu? **
Ini berbeda menurut perusahaan masing-masing orang. Database pelanggan perusahaan Frank sangat penting karena dia memiliki banyak pelanggan. Dan perusahaan saya sendiri, saya tidak memiliki banyak klien, tetapi untuk perusahaan saya, rantai pasokan saya sangat rumit, dan database desain saya sangat rumit.
**Untuk NVIDIA, kami tidak dapat membuat GPU tanpa kecerdasan buatan. Karena tidak ada teknisi kami yang dapat melakukan banyak iterasi dan eksplorasi untuk kami seperti AI. ** Oleh karena itu, saat kami mengusulkan kecerdasan buatan, aplikasi pertama ada di perusahaan kami sendiri. Selain itu, Hopper (produk superkomputer NVIDIA) tidak mungkin dirancang tanpa kecerdasan buatan.
Kami juga akan menerapkan AI kami sendiri ke data kami sendiri. Basis data bug kami adalah kasus penggunaan yang sempurna untuk ini. Jika Anda melihat jumlah kode di NVIDIA AI, kami memiliki ratusan paket perangkat lunak yang digabungkan, memungkinkan aplikasi untuk berjalan. Beberapa hal yang sedang kami kerjakan saat ini adalah bagaimana menggunakan AI untuk mengetahui cara menambal keamanannya, cara terbaik untuk mempertahankannya, sehingga kami tidak perlu mengganggu seluruh lapisan aplikasi atas sementara kompatibel dengan versi sebelumnya. .
Inilah yang dapat diberikan AI kepada Anda dengan jawaban. Kita dapat menggunakan model bahasa besar untuk menjawab pertanyaan ini, menemukan jawabannya untuk kita, atau mengungkapkan sesuatu kepada kita, dan kemudian teknisi dapat memperbaikinya. Atau AI dapat merekomendasikan metode perbaikan, dan teknisi manusia dapat memastikan apakah itu metode perbaikan yang baik.
Saya rasa tidak semua orang menyadari betapa banyak kecerdasan, wawasan, dan pengaruh yang tersembunyi dalam data yang mereka proses setiap hari. **Itulah sebabnya kita semua perlu terlibat dan membantu mewujudkan masa depan ini.
Kini, untuk pertama kalinya, data yang Anda simpan di gudang data dapat dihubungkan ke pabrik kecerdasan buatan. **Anda akan dapat menghasilkan intelijen informasi, komoditas paling berharga di dunia. Anda sedang duduk di tambang emas sumber daya alam - data hak milik perusahaan Anda, dan kami sekarang menghubungkannya ke mesin kecerdasan buatan, dan ujung lainnya adalah menghasilkan kecerdasan informasi secara langsung setiap hari, dengan jumlah kecerdasan yang luar biasa mengalir masuk dari ujung yang lain keluar, bahkan saat Anda tidur itu terus keluar. Itu hal terbaik yang pernah ada.