Sam Altman'ın Çin Diyaloğu'nun tam metni: Yapay zekanın risklerine karşı uyanık olmalıyız, ancak sinir ağlarını anlamak, insanların ne düşündüğünü anlamaktan çok daha kolay
Sam Altman'ın konuşması, 10 Haziran'da Zhiyuan Konferansı'nın AI Security and Alignment alt forumunda gerçekleşti. Sahne koltuklarla doluydu.OpenAI CEO'su ekrana gelince alkışlar koptu ve hemen herkes ekranda fotoğraf çekmek için cep telefonlarını kaldırdı.
Ancak Altman'ın kendisi sakin, hatta temkinli görünüyor. Bu, ChatGPT'nin geçen yıl küresel AI patlamasını harekete geçirmesinden bu yana, Sam Altman'ın Çin geçmişiyle ilgili görüşlerini kamuya açık bir şekilde ifade etmesinden bu yana ilk kez.
Aslında o da o gün Çin'den çok uzakta değildi, Seul'e yeni gelmiş ve Güney Kore Devlet Başkanı ile görüşmüştü. Konuşmasının ardından Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ile bire bir soru-cevap da yaptı. Aşağıdakiler kilit noktalar ve gerçeklerdir.
Anahtar noktaları:
Teknolojide AGI'ye yaklaştıkça, yanlış hizalamanın etkileri ve tuzakları katlanarak artacaktır.
OpenAI şu anda yapay zeka sistemlerinin kullanışlı ve güvenli olmasını sağlamak için pekiştirmeli öğrenme insan geri bildirimi teknolojisini kullanıyor ve ayrıca yeni teknolojileri araştırıyor. Fikirlerden biri, insanların diğer yapay zeka sistemlerini denetlemesine yardımcı olmak için yapay zeka sistemlerini kullanmak.
İnsanlar on yıl içinde güçlü yapay zeka sistemlerine (AI) sahip olacak.
OpenAI'nin ilgili yeni bir açık kaynak zaman çizelgesi yok ve AI güvenliği söz konusu olduğunda açık kaynak modelinin avantajları olduğunu kabul etse de, her şeyi açık kaynak yapmak en iyi yol olmayabilir.
Bir sinir ağını anlamak, insan beynini anlamaktan çok daha kolaydır.
Çin, en iyi yapay zeka yeteneklerine sahiptir ve yapay zeka güvenliği, Çinli araştırmacıların katılımını ve katkısını gerektirir.
Konuşmanın dökümü aşağıdadır:
Bugün, gelecekten bahsetmek istiyorum. Spesifik olarak, AI yeteneklerinde gördüğümüz büyüme oranı. Dünyayı bunların tanıtımına sorumlu bir şekilde hazırlamak için şimdi ne yapmamız gerekiyor, bilim tarihi bize teknolojik ilerlemenin üstel bir eğri izlediğini öğretti. Bunu tarım ve endüstriden bilgi işlem devrimine kadar tarihte zaten görebiliriz. Yapay zekanın şaşırtıcı yanı, yalnızca etkisi değil, aynı zamanda ilerleme hızıdır. İnsan hayal gücünün sınırlarını zorlar ve bunu çok hızlı bir şekilde yapar.
Önümüzdeki on yıl içinde, yaygın olarak yapay genel zeka (AGI) olarak adlandırılan sistemlerin, neredeyse her alanda insan uzmanlığını geride bıraktığını hayal edin. Bu sistemler sonunda en büyük şirketlerimizin toplu üretkenliğini aşabilir. Burada gizlenen çok büyük bir ters potansiyel var. AI devrimi, paylaşılan zenginlik yaratacak ve herkesin yaşam standardını iyileştirmeyi, iklim değişikliği ve küresel sağlık güvenliği gibi ortak zorlukları ele almayı ve toplumsal refahı sayısız şekilde iyileştirmeyi mümkün kılacak.
Bu geleceğe güçlü bir şekilde inanıyorum ve bunu gerçekleştirmek ve tadını çıkarmak için toplu olarak AGI güvenliğine yatırım yapmalı ve riski yönetmeliyiz. Dikkatli olmazsak, amaca uygun olmayan bir AGI sistemi asılsız önerilerde bulunarak tüm sağlık sisteminin altını oyabilir. Aynı şekilde, tarımsal uygulamaları optimize etmek için tasarlanmış bir AGI sistemi, uzun vadeli sürdürülebilirliğin dikkate alınmaması nedeniyle yanlışlıkla doğal kaynakları tüketebilir veya ekosistemlere zarar verebilir, gıda üretimini ve çevresel dengeyi etkileyebilir.
Umarım AGI güvenliğini geliştirmenin en önemli alanlarımızdan biri olduğu konusunda hepimiz hemfikir olabiliriz. Konuşmamın geri kalanını nereden başlayabileceğimizi düşündüğüme odaklamak istiyorum.
Bir alan, küresel etkileri olan bir teknoloji olan AGI'nin yönetişimidir. Dikkatsiz geliştirme ve dağıtımdan kaynaklanan kazaların maliyeti hepimizi etkileyecektir.
Bu bağlamda, iki temel unsur vardır:
İlk olarak, uluslararası normlar ve standartlar oluşturmamız ve kapsayıcı bir süreçle tüm ülkelerde AGI kullanımı için eşit ve tek tip korumalar geliştirmemiz gerekiyor. Bu korumalar dahilinde, insanların kendi seçimlerini yapmaları için bolca fırsata sahip olduklarına inanıyoruz.
İkincisi, giderek daha güçlü hale gelen AI sistemlerinin doğrulanabilir bir şekilde güvenli bir şekilde geliştirilmesine yönelik küresel güven oluşturmak için uluslararası işbirliğine ihtiyacımız var. Bu kolay bir iş değil. Bunu iyi yapabilmek için uluslararası toplum olarak sürekli ve eleştirel ilgiye ihtiyacımız var. Tao Te Ching bize binlerce millik bir yolculuğun tek bir adımla başladığını hatırlatır. Burada atılacak en yapıcı ilk adımın uluslararası teknoloji topluluğuyla çalışmak olduğunu düşünüyoruz.
Özellikle, AGI güvenliğindeki teknolojik gelişmelere ilişkin artan şeffaflık ve bilgi paylaşımına yönelik mekanizmaları desteklemeliyiz. Ortaya çıkan güvenlik sorunlarını keşfeden araştırmacılar, daha büyük bir iyilik için içgörülerini paylaşmalıdır. Fikri mülkiyet haklarına saygı gösterip onları korurken bu tür normları nasıl teşvik edebileceğimizi dikkatlice düşünmeliyiz.
Bunu iyi yaparsak, işbirliğimizi derinleştirmemiz için bize yeni kapılar açacaktır. Daha geniş anlamda, hedefleme ve güvenlik araştırmalarına yatırım yapmalı, kolaylaştırmalı ve doğrudan yatırım yapmalıyız.
OpenAI'de bugün hedeflenen araştırmamız, yapay zeka sistemlerinin mevcut sistemlerimizde yararlı ve güvenli yardımcılar olarak nasıl hareket ettirileceğine ilişkin teknik sorulara odaklanıyor. Bu, ChatGPT'yi şiddet tehdidinde bulunmaması veya kullanıcılara zararlı faaliyetlerde yardımcı olmaması için nasıl eğiteceğimiz anlamına gelebilir.
Ancak AGI'ye yaklaştıkça, herhangi bir uyumsuzluğun potansiyel etkisi ve büyüklüğü katlanarak artacaktır. Bu zorlukları önceden ele almak için, gelecekte feci sonuçlara yol açabilecek riskleri en aza indirmeye çalışıyoruz. Mevcut sistem için, modelimizi yararlı ve güvenli bir asistan olarak hareket edecek şekilde eğitmek için öncelikle insan geri bildirimlerinden pekiştirmeli öğrenmeyi kullanıyoruz.
Bu, eğitim sonrası hedef tekniğine bir örnek ve biz de yenilerini geliştirmekle meşgulüz. Bunu iyi yapmak için çok sıkı mühendislik çalışması gerekir. Bunu yapmak, GPT-4'ün ön eğitimi bitirmesinden konuşlandırmaya kadar 8 ayımızı aldı. Genel olarak, burada doğru yolda olduğumuzu düşünüyoruz. GPT-4, hedefe önceki modellerimizin hepsinden daha iyi uyuyor.
Ancak hedefleme, yeni teknik yaklaşımların yanı sıra daha fazla yönetişim ve gözetim gerektireceğine inandığımız daha gelişmiş sistemler için açık bir sorun olmaya devam ediyor. 100.000 satır ikili kodla gelen fütüristik bir AGI sistemi hayal edin. İnsan denetçilerin, böyle bir modelin alçakça bir şey yapıp yapmadığını tespit etmesi pek olası değildir.
Bu nedenle, atılımlara yol açacağını umduğumuz bazı yeni ve tamamlayıcı araştırma yönlerine yatırım yapıyoruz. Biri ölçeklenebilir denetimdir. İnsanların diğer AI sistemlerini denetlemesine yardımcı olmak için AI sistemlerini kullanmayı deneyebiliriz. Örneğin, insan denetçilerin diğer modellerin çıktılarındaki kusurları görmesine yardımcı olacak bir model eğitebiliriz. İkincisi yorumlanabilirliktir. Bu modellerin içinde neler olup bittiğini daha iyi anlamaya çalışmak istedik.
Yakın zamanda GPT-2'deki nöronları yorumlamak için GPT-4'ü kullanan bir makale yayınladık. Başka bir yazıda, modelin yalan söylediğini tespit etmek için model dahililerini kullanıyoruz. Daha gidecek çok yolumuz olsa da, gelişmiş makine öğrenimi tekniklerinin açıklama üretme yeteneğimizi daha da geliştirebileceğine inanıyoruz.
Nihayetinde amacımız, AI sistemlerini araştırmanın kendisini hedeflemeye yardımcı olacak şekilde eğitmektir. Bu yaklaşımın umut verici bir yönü, yapay zeka geliştirme hızıyla ölçeklenmesidir. Gelecek modeller asistan olarak daha akıllı ve daha kullanışlı hale geldikçe, zamanımızın en önemli zorluklarından biri olan riskleri azaltırken AGI'nin olağanüstü faydalarını gerçekleştiren daha iyi teknikler bulacağız.
Konuşmanın dökümü aşağıdadır:
Zhang Hongjiang: Yapay zekadan ne kadar uzağız? Risk acil mi, yoksa ondan uzakta mıyız? İster güvenli yapay zeka, ister potansiyel olarak güvensiz yapay zeka olsun.
Sam Altman: Bu sorunu tam olarak tahmin etmek zordur, çünkü her zaman öngörülen programa göre gelişmeyen yeni araştırma fikirleri gerektirir. Hızlı da olabilir, daha uzun da sürebilir. Herhangi bir kesinlik derecesi ile tahmin etmenin zor olduğunu düşünüyorum. Ancak önümüzdeki on yıl içinde çok güçlü yapay zeka sistemlerine sahip olabileceğimizi düşünüyorum. Böyle bir dünyada bu sorunu çözmenin önemli ve acil olduğunu düşünüyorum, bu nedenle uluslararası toplumu bu sorunu çözmek için birlikte çalışmaya davet ediyorum. Tarih bize, dünyayı birçok kişinin hayal ettiğinden daha hızlı değiştiren yeni teknolojilerin bazı örneklerini veriyor. Bu sistemlerin şu anda gördüğümüz etkisi ve ivmesi bir anlamda emsalsiz. Bu nedenle, mümkün olan en kısa sürede gerçekleşmesi için hazırlıklı olmanın ve etkileri ve önemleri göz önüne alındığında güvenlik konularını ele almanın çok mantıklı olduğunu düşünüyorum.
Zhang Hongjiang: Bir aciliyet hissediyor musunuz?
Sam Altman: Evet, hissediyorum. Gerçekten bilmediğimizi vurgulamak istiyorum. Ve yapay zekanın tanımı farklı ama bence on yıl içinde çok güçlü sistemlere sahip bir dünyaya hazır olmalıyız.
Zhang Hongjiang: Az önce yaptığınız konuşmada birkaç küresel işbirliğinden de bahsettiniz. Dünyanın son altmış veya yetmiş yılda birçok krizle karşı karşıya kaldığını biliyoruz. Ancak bu krizlerin çoğu için fikir birliği ve küresel işbirliği oluşturmayı başardık. Siz de dünya turundasınız. Ne tür bir küresel işbirliğini teşvik ediyorsunuz? Şimdiye kadar aldığınız geri bildirimler hakkında ne düşünüyorsunuz?
Sam Altman: Evet, şu ana kadar aldığım geri bildirimlerden çok memnunum. İnsanların yapay zekanın sunduğu riskleri ve fırsatları çok ciddiye aldıklarını düşünüyorum. Bu konudaki tartışmanın son altı ayda çok yol kat ettiğini düşünüyorum. İnsanlar, riskleri azaltmak için birlikte çalışırken bu avantajlardan yararlanabileceğimiz bir çerçeve bulmak için gerçekten çalışıyorlar. Bunu yapmak için çok iyi bir konumda olduğumuzu düşünüyorum. Küresel işbirliği her zaman zordur, ancak bunu dünyayı bir araya getirebilecek bir fırsat ve tehdit olarak görüyorum. Bu sistemlerin geliştirilmesine rehberlik edecek bazı çerçeveler ve güvenlik standartları geliştirebilirsek çok faydalı olacaktır.
Zhang Hongjiang: Bu özel konuda, gelişmiş yapay zeka sistemlerinin uyumlaştırılmasının çözülmemiş bir sorun olduğundan bahsettiniz. Ayrıca, Open AI'nin son birkaç yılda bunun için çok çaba harcadığını da fark ettim. Hizalama açısından en iyi örnek olarak GPT-4'ten de bahsetmişsiniz. Yapay zeka güvenlik sorunlarını hizalama yoluyla çözebileceğimizi düşünüyor musunuz? Yoksa bu sorun uyumdan daha mı büyük?
Sam Altman: Hizalama kelimesinin farklı kullanımları olduğunu düşünüyorum. Bence ele almamız gereken şey, güvenli AI sistemlerine nasıl ulaşılacağı konusundaki tüm zorluk. Hizalama, geleneksel olarak, modelin kullanıcının istediği gibi davranmasını sağlamakla ilgilidir ve bu kesinlikle bunun bir parçasıdır. Ancak, sistemlerin yapmalarını istediğimiz şeyi yaptığını nasıl doğrulayacağımız ve sistemleri kimin değerleriyle uyumlu hale getireceğimiz gibi yanıtlamamız gereken başka sorular da var. Ancak, güvenli yapay zekaya ulaşmak için neyin gerekli olduğunun tam resmini görmenin önemli olduğunu düşünüyorum.
Zhang Hongjiang: Evet, uyum hala geçerli. GPT-4'ün yaptıklarına bakarsak, çoğunlukla hala teknik açıdan. Ancak teknolojinin yanında daha birçok faktör var. Bu çok karmaşık bir soru. Genellikle karmaşık problemler sistemiktir. AI güvenliği bir istisna olmayabilir. Teknik yönlerin yanı sıra, yapay zeka güvenliği için başka hangi faktörlerin ve konuların kritik olduğunu düşünüyorsunuz? Bu zorluklara nasıl cevap vermeliyiz? Özellikle çoğumuz bilim insanı olduğumuza göre ne yapmamız gerekiyor?
Sam Altman: Bu elbette çok karmaşık bir soru. Teknik bir çözüm olmadan diğer her şeyin zor olduğunu söyleyebilirim. Güvenliğin teknik yönlerini ele aldığımızdan emin olmak için çok fazla odaklanmanın gerçekten önemli olduğunu düşünüyorum. Bahsettiğim gibi, sistemi hangi değerlerle hizalamak istediğimizi anlamak teknik bir sorun değil. Teknik girdi gerektiriyor ama tüm toplum tarafından derinlemesine tartışılması gereken bir konu. Adil, temsili ve kapsayıcı sistemler tasarlamalıyız. Ve sizin de belirttiğiniz gibi, yalnızca AI modelinin güvenliğini değil, tüm sistemin güvenliğini dikkate almalıyız. Bu nedenle, model üzerinde çalışabilen ve kullanım ilkelerine uyumu izleyebilen güvenlik sınıflandırıcıları ve algılayıcılar oluşturmak da önemlidir. Ayrıca, herhangi bir teknolojide neyin yanlış gideceğini önceden tahmin etmenin de zor olduğunu düşünüyorum. Öyleyse gerçek dünyadan öğrenin ve yinelemeli olarak konuşlandırın, modeli gerçek dünyaya koyduğunuzda ne olduğunu görün ve onu geliştirin ve insanlara ve topluma öğrenmeleri ve güncellemeleri için zaman verin ve bu modellerin nasıl iyi ve iyi bir şekilde kullanılacağını düşünün. hayatlarını kötü yönde etkiler. Bu da çok önemli.
Zhang Hongjiang: Az önce küresel işbirliğinden bahsettiniz. Birçok ülkeyi ziyaret ettiniz ve Çin'den bahsettiniz. Ancak işbirliği açısından elde ettiğiniz sonuçlardan bazılarını paylaşabilir misiniz? Sonraki adımlar için hangi planlarınız veya fikirleriniz var? Bu dünya turundan, çeşitli hükümetler, kurumlar, kurumlarla olan etkileşimlerinizden mi?
Sam Altman: Genel olarak birçok farklı bakış açısı ve yapay zeka güvenliğinin gerekli olduğunu düşünüyorum. Henüz tüm cevaplara sahip değiliz ve bu oldukça zor ve önemli bir soru.
Ayrıca, belirtildiği gibi, AI'yı güvenli ve faydalı kılmak tamamen teknik bir soru değildir. Çok farklı bağlamlarda farklı ülkelerdeki kullanıcı tercihlerini anlamayı içerir. Bunun gerçekleşmesi için birçok farklı girdiye ihtiyacımız var. Çin, dünyadaki en iyi AI yeteneklerinden bazılarına sahip. Temel olarak, gelişmiş AI sistemlerini hizalamanın zorluğunu çözmek için dünyanın dört bir yanından en iyi beyinlere ihtiyaç olduğunu düşünüyorum. Bu yüzden gerçekten Çinli yapay zeka araştırmacılarının burada büyük katkılar sağlayabileceğini umuyorum.
Zhang Hongjiang: Bugünkü forumun AI güvenliği ile ilgili olduğunu anlıyorum, çünkü insanlar OpenAI'yi çok merak ediyor, bu yüzden OpenAI hakkında, sadece AI güvenliği hakkında değil, birçok sorum var. Burada izleyicilere bir sorum var, OpenAI'nin modellerini sürüm 3.0'dan önceki gibi yeniden açma planı var mı? Ayrıca açık kaynağın AI güvenliği için iyi olduğunu düşünüyorum.
Sam Altman: Bazı modellerimiz açık kaynaklıdır ve bazıları değildir, ancak zaman geçtikçe, gelecekte daha fazla modeli açık kaynaklı hale getirmeye devam etmemizi beklemeniz gerektiğini düşünüyorum. Belirli bir modelim veya zaman çizelgem yok ama bu şu anda tartıştığımız bir konu.
Zhang Hongjiang: Modelin kendisi, modeli geliştirmeye yönelik algoritmalar ve model ile veriler arasındaki ilişkiyi optimize etmeye yönelik araçlar dahil olmak üzere tüm çabalarımızı açık kaynağa harcıyoruz. Paylaşmanın ve kullanıcıların kullandıkları üzerinde kontrol sahibi olduklarını hissetmelerini sağlamanın gerekliliğine inanıyoruz. Benzer geri bildirimleriniz var mı? Yoksa OpenAI'de tartıştığınız şey bu mu?
Sam Altman: Evet, açık kaynağın bir bakıma önemli bir rolü olduğunu düşünüyorum. Son zamanlarda ortaya çıkan birçok yeni açık kaynak modeli de var. API modelinin de önemli bir rolü olduğunu düşünüyorum. Bize ek güvenlik kontrolleri sağlar. Belirli kullanımları engelleyebilirsiniz. Belirli ince ayar türlerini engelleyebilirsiniz. Bir şey işe yaramazsa, onu geri alabilirsiniz. Mevcut model ölçeğinde, bu konuda çok endişeli değilim. Ancak model beklediğimiz kadar güçlü hale geldikçe, bu konuda haklıysak, bazen doğru olsa da her şeyi açık kaynaktan almanın en iyi yol olmayabileceğini düşünüyorum. Bence bunu dikkatli bir şekilde dengelememiz gerekiyor.
Zhang Hongjiang: GPT-4 ve AI güvenliğiyle ilgili takip eden soru şu: Daha güvenli ve kontrol edilmesini kolaylaştırmak için tüm AGI modelinin tüm altyapısını veya mimarisini değiştirmemiz gerekiyor mu? Bu konudaki düşünceleriniz nelerdir?
Sam Altman: Kesinlikle mümkün, hem yetenekler hem de güvenlik açısından çok farklı mimarilere ihtiyacımız var. Mevcut model türlerinde açıklanabilirlik konusunda biraz ilerleme kaydedebileceğimizi ve onların bize ne yaptıklarını ve neden yaptıklarını daha iyi açıklamalarını sağlayabileceğimizi düşünüyorum. Ama trafolardan sonra bir dev sıçrama daha olursa şaşırmam. Ve aslında biz zaten orijinal trafodayız, mimari çok değişti.
Zhang Hongjiang: Bir araştırmacı olarak ben de merak ediyorum, AGI araştırmasının bir sonraki yönü ne olacak? Büyük modeller, büyük dil modelleri açısından GPT-5'i yakında görecek miyiz? Bir sonraki sınır somutlaşmış modellerde mi? Otonom robotik, OpenAI'nin keşfetmeyi planladığı veya keşfetmeyi planladığı bir alan mı?
Sam Altman: Sırada ne olduğunu da merak ediyorum ve bu işi yapmanın en sevdiğim yanlarından biri, araştırmanın en ileri noktasında çok fazla heyecan ve sürpriz olması. Henüz cevaplara sahip değiliz, bu yüzden birçok olası yeni paradigmayı araştırıyoruz. Elbette bir noktada bir GPT-5 modeli yapmaya çalışacağız, ancak yakın zamanda değil. Tam olarak ne zaman olduğunu bilmiyoruz. OpenAI'nin en başından beri robotik üzerine çalışıyoruz ve buna çok ilgi duyuyoruz, ancak bazı zorluklar yaşadık. Umarım bir gün bu alana geri dönebiliriz.
Zhang Hongjiang: Kulağa harika geliyor. Sunumunuzda, GPT-2'nin nasıl çalıştığını ve modeli daha güvenli hale getirdiğini açıklamak için GPT-4'ü nasıl kullandığınızdan da bahsettiniz. Bu yaklaşım ölçeklenebilir mi? Bu yönde OpenAI gelecekte ilerlemeye devam edecek mi?
Sam Altman: Bu yönde ilerlemeye devam edeceğiz.
Zhang Hongjiang: Sizce bu yöntem biyolojik nöronlara uygulanabilir mi? Çünkü bu soruyu sormamın nedeni, insan nöronlarının kendi alanlarında nasıl çalıştığını incelemek ve keşfetmek için bu yöntemi ödünç almak isteyen bazı biyologlar ve sinirbilimciler olmasıdır.
Sam Altman: Yapay nöronlarda neler olup bittiğini görmek biyolojik nöronlardan çok daha kolay. Dolayısıyla bu yaklaşımın yapay sinir ağları için geçerli olduğunu düşünüyorum. Diğer modelleri anlamamıza yardımcı olması için daha güçlü modelleri kullanmanın bir yolu olduğunu düşünüyorum. Ancak bu yaklaşımı insan beynine nasıl uygulayacağınızdan pek emin değilim.
Zhang Hongjiang: Tamam, teşekkürler. Artık AI güvenliği ve AGI kontrolü hakkında konuştuğumuza göre, tartıştığımız sorulardan biri şu: Dünyada sadece üç model olsaydı daha mı güvenli olurdu? Nükleer kontrol gibi, nükleer silahların çoğalmasını istemezsiniz. Bu teknolojiyi alabilecek ülke sayısını kontrol etmeye çalıştığımız bir anlaşmamız var. Öyleyse, model sayısını kontrol etmek uygun bir yön müdür?
Sam Altman: Dünyada azınlık modeline mi yoksa çoğunluk modeline mi sahip olmanın daha güvenli olduğu konusunda farklı görüşler olduğunu düşünüyorum. Bence daha önemli, herhangi bir sağlam modelin güvenlik açısından yeterince test edildiği bir sistemimiz var mı? Yeterince sağlam bir model yaratan herkesin, yarattıklarının güvenli ve uyumlu olmasını sağlamak için hem kaynaklara hem de sorumluluğa sahip olduğu bir çerçevemiz var mı?
Zhang Hongjiang: Dünkü bu toplantıda, MIT Future of Life Enstitüsü'nden Profesör Max, ilaç geliştirmeyi kontrol etme şeklimize benzer olası bir yöntemden bahsetti. Bilim adamları veya şirketler yeni ilaçlar geliştirdiğinde bunları doğrudan pazarlayamazsınız. Bu test sürecinden geçmelisiniz. Bu öğrenebileceğimiz bir şey mi?
Sam Altman: Farklı endüstrilerde geliştirilen lisanslama ve test çerçevelerinden kesinlikle çok şey öğrenebileceğimizi düşünüyorum. Ama temelde işe yarayabilecek bir şeyimiz olduğunu düşünüyorum.
Zhang Hongjiang: Çok teşekkür ederim Sam. Sanal da olsa bu toplantıya katılmak için zaman ayırdığınız için teşekkür ederiz. Eminim daha birçok soru vardır, ancak zamanımız olduğu için burada durmalıyız. Umarım bir dahaki sefere Çin'e, Pekin'e gelme fırsatınız olduğunda daha derinlemesine bir tartışma yapabiliriz. çok teşekkür ederim.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Sam Altman'ın Çin Diyaloğu'nun tam metni: Yapay zekanın risklerine karşı uyanık olmalıyız, ancak sinir ağlarını anlamak, insanların ne düşündüğünü anlamaktan çok daha kolay
Yazar|Neil Shen
Kaynak丨Pinwan
Sam Altman'ın konuşması, 10 Haziran'da Zhiyuan Konferansı'nın AI Security and Alignment alt forumunda gerçekleşti. Sahne koltuklarla doluydu.OpenAI CEO'su ekrana gelince alkışlar koptu ve hemen herkes ekranda fotoğraf çekmek için cep telefonlarını kaldırdı.
Ancak Altman'ın kendisi sakin, hatta temkinli görünüyor. Bu, ChatGPT'nin geçen yıl küresel AI patlamasını harekete geçirmesinden bu yana, Sam Altman'ın Çin geçmişiyle ilgili görüşlerini kamuya açık bir şekilde ifade etmesinden bu yana ilk kez.
Aslında o da o gün Çin'den çok uzakta değildi, Seul'e yeni gelmiş ve Güney Kore Devlet Başkanı ile görüşmüştü. Konuşmasının ardından Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ile bire bir soru-cevap da yaptı. Aşağıdakiler kilit noktalar ve gerçeklerdir.
Anahtar noktaları:
Teknolojide AGI'ye yaklaştıkça, yanlış hizalamanın etkileri ve tuzakları katlanarak artacaktır.
OpenAI şu anda yapay zeka sistemlerinin kullanışlı ve güvenli olmasını sağlamak için pekiştirmeli öğrenme insan geri bildirimi teknolojisini kullanıyor ve ayrıca yeni teknolojileri araştırıyor. Fikirlerden biri, insanların diğer yapay zeka sistemlerini denetlemesine yardımcı olmak için yapay zeka sistemlerini kullanmak.
İnsanlar on yıl içinde güçlü yapay zeka sistemlerine (AI) sahip olacak.
OpenAI'nin ilgili yeni bir açık kaynak zaman çizelgesi yok ve AI güvenliği söz konusu olduğunda açık kaynak modelinin avantajları olduğunu kabul etse de, her şeyi açık kaynak yapmak en iyi yol olmayabilir.
Bir sinir ağını anlamak, insan beynini anlamaktan çok daha kolaydır.
Çin, en iyi yapay zeka yeteneklerine sahiptir ve yapay zeka güvenliği, Çinli araştırmacıların katılımını ve katkısını gerektirir.
Konuşmanın dökümü aşağıdadır:
Bugün, gelecekten bahsetmek istiyorum. Spesifik olarak, AI yeteneklerinde gördüğümüz büyüme oranı. Dünyayı bunların tanıtımına sorumlu bir şekilde hazırlamak için şimdi ne yapmamız gerekiyor, bilim tarihi bize teknolojik ilerlemenin üstel bir eğri izlediğini öğretti. Bunu tarım ve endüstriden bilgi işlem devrimine kadar tarihte zaten görebiliriz. Yapay zekanın şaşırtıcı yanı, yalnızca etkisi değil, aynı zamanda ilerleme hızıdır. İnsan hayal gücünün sınırlarını zorlar ve bunu çok hızlı bir şekilde yapar.
Önümüzdeki on yıl içinde, yaygın olarak yapay genel zeka (AGI) olarak adlandırılan sistemlerin, neredeyse her alanda insan uzmanlığını geride bıraktığını hayal edin. Bu sistemler sonunda en büyük şirketlerimizin toplu üretkenliğini aşabilir. Burada gizlenen çok büyük bir ters potansiyel var. AI devrimi, paylaşılan zenginlik yaratacak ve herkesin yaşam standardını iyileştirmeyi, iklim değişikliği ve küresel sağlık güvenliği gibi ortak zorlukları ele almayı ve toplumsal refahı sayısız şekilde iyileştirmeyi mümkün kılacak.
Bu geleceğe güçlü bir şekilde inanıyorum ve bunu gerçekleştirmek ve tadını çıkarmak için toplu olarak AGI güvenliğine yatırım yapmalı ve riski yönetmeliyiz. Dikkatli olmazsak, amaca uygun olmayan bir AGI sistemi asılsız önerilerde bulunarak tüm sağlık sisteminin altını oyabilir. Aynı şekilde, tarımsal uygulamaları optimize etmek için tasarlanmış bir AGI sistemi, uzun vadeli sürdürülebilirliğin dikkate alınmaması nedeniyle yanlışlıkla doğal kaynakları tüketebilir veya ekosistemlere zarar verebilir, gıda üretimini ve çevresel dengeyi etkileyebilir.
Umarım AGI güvenliğini geliştirmenin en önemli alanlarımızdan biri olduğu konusunda hepimiz hemfikir olabiliriz. Konuşmamın geri kalanını nereden başlayabileceğimizi düşündüğüme odaklamak istiyorum.
Bir alan, küresel etkileri olan bir teknoloji olan AGI'nin yönetişimidir. Dikkatsiz geliştirme ve dağıtımdan kaynaklanan kazaların maliyeti hepimizi etkileyecektir.
Bu bağlamda, iki temel unsur vardır:
İlk olarak, uluslararası normlar ve standartlar oluşturmamız ve kapsayıcı bir süreçle tüm ülkelerde AGI kullanımı için eşit ve tek tip korumalar geliştirmemiz gerekiyor. Bu korumalar dahilinde, insanların kendi seçimlerini yapmaları için bolca fırsata sahip olduklarına inanıyoruz.
İkincisi, giderek daha güçlü hale gelen AI sistemlerinin doğrulanabilir bir şekilde güvenli bir şekilde geliştirilmesine yönelik küresel güven oluşturmak için uluslararası işbirliğine ihtiyacımız var. Bu kolay bir iş değil. Bunu iyi yapabilmek için uluslararası toplum olarak sürekli ve eleştirel ilgiye ihtiyacımız var. Tao Te Ching bize binlerce millik bir yolculuğun tek bir adımla başladığını hatırlatır. Burada atılacak en yapıcı ilk adımın uluslararası teknoloji topluluğuyla çalışmak olduğunu düşünüyoruz.
Özellikle, AGI güvenliğindeki teknolojik gelişmelere ilişkin artan şeffaflık ve bilgi paylaşımına yönelik mekanizmaları desteklemeliyiz. Ortaya çıkan güvenlik sorunlarını keşfeden araştırmacılar, daha büyük bir iyilik için içgörülerini paylaşmalıdır. Fikri mülkiyet haklarına saygı gösterip onları korurken bu tür normları nasıl teşvik edebileceğimizi dikkatlice düşünmeliyiz.
Bunu iyi yaparsak, işbirliğimizi derinleştirmemiz için bize yeni kapılar açacaktır. Daha geniş anlamda, hedefleme ve güvenlik araştırmalarına yatırım yapmalı, kolaylaştırmalı ve doğrudan yatırım yapmalıyız.
OpenAI'de bugün hedeflenen araştırmamız, yapay zeka sistemlerinin mevcut sistemlerimizde yararlı ve güvenli yardımcılar olarak nasıl hareket ettirileceğine ilişkin teknik sorulara odaklanıyor. Bu, ChatGPT'yi şiddet tehdidinde bulunmaması veya kullanıcılara zararlı faaliyetlerde yardımcı olmaması için nasıl eğiteceğimiz anlamına gelebilir.
Ancak AGI'ye yaklaştıkça, herhangi bir uyumsuzluğun potansiyel etkisi ve büyüklüğü katlanarak artacaktır. Bu zorlukları önceden ele almak için, gelecekte feci sonuçlara yol açabilecek riskleri en aza indirmeye çalışıyoruz. Mevcut sistem için, modelimizi yararlı ve güvenli bir asistan olarak hareket edecek şekilde eğitmek için öncelikle insan geri bildirimlerinden pekiştirmeli öğrenmeyi kullanıyoruz.
Bu, eğitim sonrası hedef tekniğine bir örnek ve biz de yenilerini geliştirmekle meşgulüz. Bunu iyi yapmak için çok sıkı mühendislik çalışması gerekir. Bunu yapmak, GPT-4'ün ön eğitimi bitirmesinden konuşlandırmaya kadar 8 ayımızı aldı. Genel olarak, burada doğru yolda olduğumuzu düşünüyoruz. GPT-4, hedefe önceki modellerimizin hepsinden daha iyi uyuyor.
Ancak hedefleme, yeni teknik yaklaşımların yanı sıra daha fazla yönetişim ve gözetim gerektireceğine inandığımız daha gelişmiş sistemler için açık bir sorun olmaya devam ediyor. 100.000 satır ikili kodla gelen fütüristik bir AGI sistemi hayal edin. İnsan denetçilerin, böyle bir modelin alçakça bir şey yapıp yapmadığını tespit etmesi pek olası değildir.
Bu nedenle, atılımlara yol açacağını umduğumuz bazı yeni ve tamamlayıcı araştırma yönlerine yatırım yapıyoruz. Biri ölçeklenebilir denetimdir. İnsanların diğer AI sistemlerini denetlemesine yardımcı olmak için AI sistemlerini kullanmayı deneyebiliriz. Örneğin, insan denetçilerin diğer modellerin çıktılarındaki kusurları görmesine yardımcı olacak bir model eğitebiliriz. İkincisi yorumlanabilirliktir. Bu modellerin içinde neler olup bittiğini daha iyi anlamaya çalışmak istedik.
Yakın zamanda GPT-2'deki nöronları yorumlamak için GPT-4'ü kullanan bir makale yayınladık. Başka bir yazıda, modelin yalan söylediğini tespit etmek için model dahililerini kullanıyoruz. Daha gidecek çok yolumuz olsa da, gelişmiş makine öğrenimi tekniklerinin açıklama üretme yeteneğimizi daha da geliştirebileceğine inanıyoruz.
Nihayetinde amacımız, AI sistemlerini araştırmanın kendisini hedeflemeye yardımcı olacak şekilde eğitmektir. Bu yaklaşımın umut verici bir yönü, yapay zeka geliştirme hızıyla ölçeklenmesidir. Gelecek modeller asistan olarak daha akıllı ve daha kullanışlı hale geldikçe, zamanımızın en önemli zorluklarından biri olan riskleri azaltırken AGI'nin olağanüstü faydalarını gerçekleştiren daha iyi teknikler bulacağız.
Konuşmanın dökümü aşağıdadır:
Zhang Hongjiang: Yapay zekadan ne kadar uzağız? Risk acil mi, yoksa ondan uzakta mıyız? İster güvenli yapay zeka, ister potansiyel olarak güvensiz yapay zeka olsun.
Sam Altman: Bu sorunu tam olarak tahmin etmek zordur, çünkü her zaman öngörülen programa göre gelişmeyen yeni araştırma fikirleri gerektirir. Hızlı da olabilir, daha uzun da sürebilir. Herhangi bir kesinlik derecesi ile tahmin etmenin zor olduğunu düşünüyorum. Ancak önümüzdeki on yıl içinde çok güçlü yapay zeka sistemlerine sahip olabileceğimizi düşünüyorum. Böyle bir dünyada bu sorunu çözmenin önemli ve acil olduğunu düşünüyorum, bu nedenle uluslararası toplumu bu sorunu çözmek için birlikte çalışmaya davet ediyorum. Tarih bize, dünyayı birçok kişinin hayal ettiğinden daha hızlı değiştiren yeni teknolojilerin bazı örneklerini veriyor. Bu sistemlerin şu anda gördüğümüz etkisi ve ivmesi bir anlamda emsalsiz. Bu nedenle, mümkün olan en kısa sürede gerçekleşmesi için hazırlıklı olmanın ve etkileri ve önemleri göz önüne alındığında güvenlik konularını ele almanın çok mantıklı olduğunu düşünüyorum.
Zhang Hongjiang: Bir aciliyet hissediyor musunuz?
Sam Altman: Evet, hissediyorum. Gerçekten bilmediğimizi vurgulamak istiyorum. Ve yapay zekanın tanımı farklı ama bence on yıl içinde çok güçlü sistemlere sahip bir dünyaya hazır olmalıyız.
Zhang Hongjiang: Az önce yaptığınız konuşmada birkaç küresel işbirliğinden de bahsettiniz. Dünyanın son altmış veya yetmiş yılda birçok krizle karşı karşıya kaldığını biliyoruz. Ancak bu krizlerin çoğu için fikir birliği ve küresel işbirliği oluşturmayı başardık. Siz de dünya turundasınız. Ne tür bir küresel işbirliğini teşvik ediyorsunuz? Şimdiye kadar aldığınız geri bildirimler hakkında ne düşünüyorsunuz?
Sam Altman: Evet, şu ana kadar aldığım geri bildirimlerden çok memnunum. İnsanların yapay zekanın sunduğu riskleri ve fırsatları çok ciddiye aldıklarını düşünüyorum. Bu konudaki tartışmanın son altı ayda çok yol kat ettiğini düşünüyorum. İnsanlar, riskleri azaltmak için birlikte çalışırken bu avantajlardan yararlanabileceğimiz bir çerçeve bulmak için gerçekten çalışıyorlar. Bunu yapmak için çok iyi bir konumda olduğumuzu düşünüyorum. Küresel işbirliği her zaman zordur, ancak bunu dünyayı bir araya getirebilecek bir fırsat ve tehdit olarak görüyorum. Bu sistemlerin geliştirilmesine rehberlik edecek bazı çerçeveler ve güvenlik standartları geliştirebilirsek çok faydalı olacaktır.
Zhang Hongjiang: Bu özel konuda, gelişmiş yapay zeka sistemlerinin uyumlaştırılmasının çözülmemiş bir sorun olduğundan bahsettiniz. Ayrıca, Open AI'nin son birkaç yılda bunun için çok çaba harcadığını da fark ettim. Hizalama açısından en iyi örnek olarak GPT-4'ten de bahsetmişsiniz. Yapay zeka güvenlik sorunlarını hizalama yoluyla çözebileceğimizi düşünüyor musunuz? Yoksa bu sorun uyumdan daha mı büyük?
Sam Altman: Hizalama kelimesinin farklı kullanımları olduğunu düşünüyorum. Bence ele almamız gereken şey, güvenli AI sistemlerine nasıl ulaşılacağı konusundaki tüm zorluk. Hizalama, geleneksel olarak, modelin kullanıcının istediği gibi davranmasını sağlamakla ilgilidir ve bu kesinlikle bunun bir parçasıdır. Ancak, sistemlerin yapmalarını istediğimiz şeyi yaptığını nasıl doğrulayacağımız ve sistemleri kimin değerleriyle uyumlu hale getireceğimiz gibi yanıtlamamız gereken başka sorular da var. Ancak, güvenli yapay zekaya ulaşmak için neyin gerekli olduğunun tam resmini görmenin önemli olduğunu düşünüyorum.
Zhang Hongjiang: Evet, uyum hala geçerli. GPT-4'ün yaptıklarına bakarsak, çoğunlukla hala teknik açıdan. Ancak teknolojinin yanında daha birçok faktör var. Bu çok karmaşık bir soru. Genellikle karmaşık problemler sistemiktir. AI güvenliği bir istisna olmayabilir. Teknik yönlerin yanı sıra, yapay zeka güvenliği için başka hangi faktörlerin ve konuların kritik olduğunu düşünüyorsunuz? Bu zorluklara nasıl cevap vermeliyiz? Özellikle çoğumuz bilim insanı olduğumuza göre ne yapmamız gerekiyor?
Sam Altman: Bu elbette çok karmaşık bir soru. Teknik bir çözüm olmadan diğer her şeyin zor olduğunu söyleyebilirim. Güvenliğin teknik yönlerini ele aldığımızdan emin olmak için çok fazla odaklanmanın gerçekten önemli olduğunu düşünüyorum. Bahsettiğim gibi, sistemi hangi değerlerle hizalamak istediğimizi anlamak teknik bir sorun değil. Teknik girdi gerektiriyor ama tüm toplum tarafından derinlemesine tartışılması gereken bir konu. Adil, temsili ve kapsayıcı sistemler tasarlamalıyız. Ve sizin de belirttiğiniz gibi, yalnızca AI modelinin güvenliğini değil, tüm sistemin güvenliğini dikkate almalıyız. Bu nedenle, model üzerinde çalışabilen ve kullanım ilkelerine uyumu izleyebilen güvenlik sınıflandırıcıları ve algılayıcılar oluşturmak da önemlidir. Ayrıca, herhangi bir teknolojide neyin yanlış gideceğini önceden tahmin etmenin de zor olduğunu düşünüyorum. Öyleyse gerçek dünyadan öğrenin ve yinelemeli olarak konuşlandırın, modeli gerçek dünyaya koyduğunuzda ne olduğunu görün ve onu geliştirin ve insanlara ve topluma öğrenmeleri ve güncellemeleri için zaman verin ve bu modellerin nasıl iyi ve iyi bir şekilde kullanılacağını düşünün. hayatlarını kötü yönde etkiler. Bu da çok önemli.
Zhang Hongjiang: Az önce küresel işbirliğinden bahsettiniz. Birçok ülkeyi ziyaret ettiniz ve Çin'den bahsettiniz. Ancak işbirliği açısından elde ettiğiniz sonuçlardan bazılarını paylaşabilir misiniz? Sonraki adımlar için hangi planlarınız veya fikirleriniz var? Bu dünya turundan, çeşitli hükümetler, kurumlar, kurumlarla olan etkileşimlerinizden mi?
Sam Altman: Genel olarak birçok farklı bakış açısı ve yapay zeka güvenliğinin gerekli olduğunu düşünüyorum. Henüz tüm cevaplara sahip değiliz ve bu oldukça zor ve önemli bir soru.
Ayrıca, belirtildiği gibi, AI'yı güvenli ve faydalı kılmak tamamen teknik bir soru değildir. Çok farklı bağlamlarda farklı ülkelerdeki kullanıcı tercihlerini anlamayı içerir. Bunun gerçekleşmesi için birçok farklı girdiye ihtiyacımız var. Çin, dünyadaki en iyi AI yeteneklerinden bazılarına sahip. Temel olarak, gelişmiş AI sistemlerini hizalamanın zorluğunu çözmek için dünyanın dört bir yanından en iyi beyinlere ihtiyaç olduğunu düşünüyorum. Bu yüzden gerçekten Çinli yapay zeka araştırmacılarının burada büyük katkılar sağlayabileceğini umuyorum.
Zhang Hongjiang: Bugünkü forumun AI güvenliği ile ilgili olduğunu anlıyorum, çünkü insanlar OpenAI'yi çok merak ediyor, bu yüzden OpenAI hakkında, sadece AI güvenliği hakkında değil, birçok sorum var. Burada izleyicilere bir sorum var, OpenAI'nin modellerini sürüm 3.0'dan önceki gibi yeniden açma planı var mı? Ayrıca açık kaynağın AI güvenliği için iyi olduğunu düşünüyorum.
Sam Altman: Bazı modellerimiz açık kaynaklıdır ve bazıları değildir, ancak zaman geçtikçe, gelecekte daha fazla modeli açık kaynaklı hale getirmeye devam etmemizi beklemeniz gerektiğini düşünüyorum. Belirli bir modelim veya zaman çizelgem yok ama bu şu anda tartıştığımız bir konu.
Zhang Hongjiang: Modelin kendisi, modeli geliştirmeye yönelik algoritmalar ve model ile veriler arasındaki ilişkiyi optimize etmeye yönelik araçlar dahil olmak üzere tüm çabalarımızı açık kaynağa harcıyoruz. Paylaşmanın ve kullanıcıların kullandıkları üzerinde kontrol sahibi olduklarını hissetmelerini sağlamanın gerekliliğine inanıyoruz. Benzer geri bildirimleriniz var mı? Yoksa OpenAI'de tartıştığınız şey bu mu?
Sam Altman: Evet, açık kaynağın bir bakıma önemli bir rolü olduğunu düşünüyorum. Son zamanlarda ortaya çıkan birçok yeni açık kaynak modeli de var. API modelinin de önemli bir rolü olduğunu düşünüyorum. Bize ek güvenlik kontrolleri sağlar. Belirli kullanımları engelleyebilirsiniz. Belirli ince ayar türlerini engelleyebilirsiniz. Bir şey işe yaramazsa, onu geri alabilirsiniz. Mevcut model ölçeğinde, bu konuda çok endişeli değilim. Ancak model beklediğimiz kadar güçlü hale geldikçe, bu konuda haklıysak, bazen doğru olsa da her şeyi açık kaynaktan almanın en iyi yol olmayabileceğini düşünüyorum. Bence bunu dikkatli bir şekilde dengelememiz gerekiyor.
Zhang Hongjiang: GPT-4 ve AI güvenliğiyle ilgili takip eden soru şu: Daha güvenli ve kontrol edilmesini kolaylaştırmak için tüm AGI modelinin tüm altyapısını veya mimarisini değiştirmemiz gerekiyor mu? Bu konudaki düşünceleriniz nelerdir?
Sam Altman: Kesinlikle mümkün, hem yetenekler hem de güvenlik açısından çok farklı mimarilere ihtiyacımız var. Mevcut model türlerinde açıklanabilirlik konusunda biraz ilerleme kaydedebileceğimizi ve onların bize ne yaptıklarını ve neden yaptıklarını daha iyi açıklamalarını sağlayabileceğimizi düşünüyorum. Ama trafolardan sonra bir dev sıçrama daha olursa şaşırmam. Ve aslında biz zaten orijinal trafodayız, mimari çok değişti.
Zhang Hongjiang: Bir araştırmacı olarak ben de merak ediyorum, AGI araştırmasının bir sonraki yönü ne olacak? Büyük modeller, büyük dil modelleri açısından GPT-5'i yakında görecek miyiz? Bir sonraki sınır somutlaşmış modellerde mi? Otonom robotik, OpenAI'nin keşfetmeyi planladığı veya keşfetmeyi planladığı bir alan mı?
Sam Altman: Sırada ne olduğunu da merak ediyorum ve bu işi yapmanın en sevdiğim yanlarından biri, araştırmanın en ileri noktasında çok fazla heyecan ve sürpriz olması. Henüz cevaplara sahip değiliz, bu yüzden birçok olası yeni paradigmayı araştırıyoruz. Elbette bir noktada bir GPT-5 modeli yapmaya çalışacağız, ancak yakın zamanda değil. Tam olarak ne zaman olduğunu bilmiyoruz. OpenAI'nin en başından beri robotik üzerine çalışıyoruz ve buna çok ilgi duyuyoruz, ancak bazı zorluklar yaşadık. Umarım bir gün bu alana geri dönebiliriz.
Zhang Hongjiang: Kulağa harika geliyor. Sunumunuzda, GPT-2'nin nasıl çalıştığını ve modeli daha güvenli hale getirdiğini açıklamak için GPT-4'ü nasıl kullandığınızdan da bahsettiniz. Bu yaklaşım ölçeklenebilir mi? Bu yönde OpenAI gelecekte ilerlemeye devam edecek mi?
Sam Altman: Bu yönde ilerlemeye devam edeceğiz.
Zhang Hongjiang: Sizce bu yöntem biyolojik nöronlara uygulanabilir mi? Çünkü bu soruyu sormamın nedeni, insan nöronlarının kendi alanlarında nasıl çalıştığını incelemek ve keşfetmek için bu yöntemi ödünç almak isteyen bazı biyologlar ve sinirbilimciler olmasıdır.
Sam Altman: Yapay nöronlarda neler olup bittiğini görmek biyolojik nöronlardan çok daha kolay. Dolayısıyla bu yaklaşımın yapay sinir ağları için geçerli olduğunu düşünüyorum. Diğer modelleri anlamamıza yardımcı olması için daha güçlü modelleri kullanmanın bir yolu olduğunu düşünüyorum. Ancak bu yaklaşımı insan beynine nasıl uygulayacağınızdan pek emin değilim.
Zhang Hongjiang: Tamam, teşekkürler. Artık AI güvenliği ve AGI kontrolü hakkında konuştuğumuza göre, tartıştığımız sorulardan biri şu: Dünyada sadece üç model olsaydı daha mı güvenli olurdu? Nükleer kontrol gibi, nükleer silahların çoğalmasını istemezsiniz. Bu teknolojiyi alabilecek ülke sayısını kontrol etmeye çalıştığımız bir anlaşmamız var. Öyleyse, model sayısını kontrol etmek uygun bir yön müdür?
Sam Altman: Dünyada azınlık modeline mi yoksa çoğunluk modeline mi sahip olmanın daha güvenli olduğu konusunda farklı görüşler olduğunu düşünüyorum. Bence daha önemli, herhangi bir sağlam modelin güvenlik açısından yeterince test edildiği bir sistemimiz var mı? Yeterince sağlam bir model yaratan herkesin, yarattıklarının güvenli ve uyumlu olmasını sağlamak için hem kaynaklara hem de sorumluluğa sahip olduğu bir çerçevemiz var mı?
Zhang Hongjiang: Dünkü bu toplantıda, MIT Future of Life Enstitüsü'nden Profesör Max, ilaç geliştirmeyi kontrol etme şeklimize benzer olası bir yöntemden bahsetti. Bilim adamları veya şirketler yeni ilaçlar geliştirdiğinde bunları doğrudan pazarlayamazsınız. Bu test sürecinden geçmelisiniz. Bu öğrenebileceğimiz bir şey mi?
Sam Altman: Farklı endüstrilerde geliştirilen lisanslama ve test çerçevelerinden kesinlikle çok şey öğrenebileceğimizi düşünüyorum. Ama temelde işe yarayabilecek bir şeyimiz olduğunu düşünüyorum.
Zhang Hongjiang: Çok teşekkür ederim Sam. Sanal da olsa bu toplantıya katılmak için zaman ayırdığınız için teşekkür ederiz. Eminim daha birçok soru vardır, ancak zamanımız olduğu için burada durmalıyız. Umarım bir dahaki sefere Çin'e, Pekin'e gelme fırsatınız olduğunda daha derinlemesine bir tartışma yapabiliriz. çok teşekkür ederim.