Sam Altman ve Hinton Çin'de ilk kez sahneye çıkıyor! Çin'deki en zorlu AI uzman etkinliği başarıyla sonuçlandı ve yerli büyük ölçekli model "Enlightenment 3.0" tamamen açık kaynaklıydı
【Xinzhiyuan'a Giriş】 Bu yılki Zhiyuan Konferansı hala yıldızlarla dolu ve akademik anlamda dolu. Tüm büyük isimler süper yapay zekayı tartıştı ve fikirlerin çarpışması kıvılcımları ateşledi.Hala kaçırılmaması gereken bir AI Bahar Şenliği Galası!
Az önce, yıllık yerel "AI Bahar Şenliği Galası" Zhiyuan Konferansı başarıyla sonuçlandı!
Bu yapay zeka yıllık zirve etkinliğinde OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI vb. gibi tanıdık yıldız takımlar var, Meta, Google, Microsoft ve dünyayı fethetmiş diğer büyük üreticiler var ve orada Stanford, UC Berkeley, MIT ve dünyanın diğer en iyi üniversiteleridir.
GPT-4, PaLM-E, OPT, LLaMA gibi önemli eserlerin yazarlarının hepsi katıldı ve araştırma sonuçlarını bize açıkladı. Bu konferansın hem profesyonel derinliğe hem de yaratıcı ilhama sahip olduğu söylenebilir ve her konu en uç noktasına kadar tartışıldı.
Konferansın doruk noktası şüphesiz Turing Ödülü sahibi Yann LeCun, Geoffrey Hinton ve OpenAI kurucusu Sam Altman'ın konuşmalarıydı.
Bu süper ağır sıkletlerin görünümü, vurgularla dolu olarak tanımlanabilir.
Geoffrey Hinton: Süper AI riski acil
Forumun az önce sona eren kapanış açılış konuşmasında, Turing Ödülü sahibi ve derin öğrenmenin babası Hinton, bizim için üzerinde düşünmeye değer bir senaryo tasarladı.
Hinton, konuşmasının başında "Yapay sinir ağları gerçek sinir ağlarından daha mı akıllı?" diye sordu.
Evet, ona göre bu yakında olabilir.
Bir süre önce olduğu gibi Hinton, Google'dan istifa etmiş ve istifasının nedenlerini kısaca açıklamıştı. Hayatı boyunca yaptığı işten duyduğu pişmanlıktan ve yapay zekanın tehlikelerinden duyduğu endişeden bahsetti. Yapay zekanın dünyaya yönelik tehlikelerinin iklim değişikliğinden daha acil olduğunu defalarca kamuoyuna açıkladı.
Benzer şekilde, Zhiyuan Konferansında Hinton, AI risklerinden tekrar bahsetti.
Birden çok dijital bilgisayarda çalışan büyük bir sinir ağı, insan bilgisi için insan dilini taklit etmenin yanı sıra doğrudan dünyadan bilgi edinebilirse ne olur?
Açıkçası, daha fazla veri gözlemlediği için insanlardan çok daha iyi hale gelecek.
Bu sinir ağı, görüntülerin veya videoların denetimsiz modellemesini gerçekleştirebiliyorsa ve kopyaları da fiziksel dünyayı manipüle edebiliyorsa, bu fikir hiç de abartılı değil.
En aşırı durumlarda, suçlular seçmenleri manipüle etmek ve savaşları kazanmak için süper zekayı kullanır.
Bir süper zekanın kendi alt hedeflerini formüle etmesine izin verilirse, bir alt hedef daha fazla güç kazanmaktır, süper zeka, bu hedefe ulaşmak için onu kullanan insanları manipüle edecektir.
Zhang Hongjiang ve Sam Altman Peak Soru-Cevap: AGI on yıl içinde ortaya çıkabilir
Bu sabah Sam Altman da video bağlantısı aracılığıyla ortaya çıktı. ChatGPT patladıktan sonra Sam Altman Çin'de ilk kez halka açık bir konuşma yapıyor.
Öne Çıkanlar:
-Mevcut AI devriminin bu kadar etkili olmasının nedeni, yalnızca etkisinin ölçeği değil, aynı zamanda ilerleme hızıdır. Bu hem kazanç hem de risk getirir.
Giderek daha güçlü hale gelen AI sistemlerinin ortaya çıkmasıyla birlikte, uluslararası işbirliğini güçlendirmek ve küresel güven inşa etmek çok önemlidir.
Hizalama hala açık bir konudur. GPT-4, temel olarak ölçeklenebilirlik ve açıklanabilirlik dahil olmak üzere uyum çalışmalarını son 8 ayda tamamladı.
Altman konuşmasında, küresel AI güvenlik uyumu ve denetiminin gerekliliğini defalarca vurguladı ve özellikle Tao Te Ching'den bir cümle alıntıladı:
Bin millik bir yolculuk tek bir adımla başlar.
Ona göre yapay zeka patlayıcı bir hızla gelişiyor ve önümüzdeki on yıl içinde süper yapay zeka ortaya çıkabilir.
Bu nedenle, AGI güvenliğini teşvik etmek, uluslararası işbirliğini güçlendirmek ve ilgili araştırma dağıtımlarını uyumlu hale getirmek gereklidir.
Sam Altman, uluslararası bilim ve teknoloji camiasındaki işbirliğinin şu anda yapıcı bir adım atmak için ilk adım olduğuna inanıyor. Özellikle, AGI güvenliğinde teknolojik ilerleme için şeffaflık ve bilgi paylaşım mekanizmaları geliştirilmelidir.
Buna ek olarak Altman, OpenAI'nin mevcut ana araştırma hedefinin AI hizalama araştırmasına, yani AI'yı nasıl yararlı ve güvenli bir asistan haline getireceğine odaklandığından bahsetti.
Biri, insanlara diğer yapay zeka sistemlerini denetlemede yardımcı olmak için AI sistemlerini kullanmaya çalışan ölçeklenebilir denetimdir. İkincisi, büyük modelin iç işleyişinin "kara kutusunu" anlamaya çalışan yorumlanabilirliktir.
Nihayetinde OpenAI, hizalama araştırmasına yardımcı olmak için AI sistemlerini eğitmeyi amaçlamaktadır.
Konuşmanın ardından, Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ve Sam Altman, yapay zekanın nasıl güvenli bir şekilde hizalanacağını tartışmak için bir hava diyaloğu açtı.
OpenAI'nin büyük modelleri açıp açmayacağı sorulduğunda Altman, gelecekte daha fazla açık kaynak olacağını ancak belirli bir model ve zaman çizelgesi olmadığını söyledi.
Ayrıca, yakın zamanda GPT-5'in olmayacağını da söyledi.
Toplantıdan sonra Altman, Zhiyuan Konferansı'nda bir konuşma yapmaya davet edildiği için minnettarlığını ifade eden bir mesaj yayınladı.
LeCun: hala dünya modelinin hayranı
İlk gün konuşan bir diğer Turing Ödülü sahibi LeCun, yine de kendi "dünya modeli" konseptini tanıtmaya devam etti.
LeCun, yapay zekanın insanları yok edeceği fikrini her zaman küçümsediğini ifade etmiştir.Bugünün yapay zekasının bir köpek kadar zeki olmadığına ve gerçek yapay zekanın henüz geliştirilmediğine inanmaktadır.Bu tür endişeler yersizdir.
Kısmen mevcut makine öğrenimi sistemlerinin girdi ve çıktı arasında temelde sabit hesaplama adımlarına sahip olması nedeniyle yapay zekanın insanlar ve hayvanlar gibi akıl yürütemeyeceğini ve planlayamayacağını açıkladı.
Bir makine, dünyanın nasıl çalıştığını nasıl anlayabilir, insanlar gibi eylemlerin sonuçlarını nasıl tahmin edebilir veya karmaşık görevleri planlamak için onu birden çok adıma nasıl bölebilir?
Açıkçası, kendi kendine denetimli öğrenme yollardan biridir. Takviyeli öğrenmeye kıyasla, kendi kendini denetleyen öğrenme, büyük miktarda geri bildirim üretebilir ve girdisinin herhangi bir bölümünü tahmin edebilir.
LeCun, önümüzdeki birkaç yıl içinde yapay zekanın üç büyük zorluğunun dünyanın temsilini öğrenmek, dünya modelini tahmin etmek ve kendi kendini denetleyen öğrenmeyi kullanmak olduğunu belirlediğini söyledi.
İnsan düzeyinde bir yapay zeka oluşturmanın anahtarı, bir "dünya modeli" öğrenme yeteneği olabilir.
Bunların arasında "dünya modeli" altı bağımsız modülden oluşur: konfigüratör modülü, algı modülü, dünya modeli, maliyet modülü, aktör modülü ve kısa süreli bellek modülü.
Dünya modeli için mimari ve eğitim paradigmasını tasarlamanın, önümüzdeki birkaç on yılda yapay zekanın gelişiminin önündeki gerçek engel olduğuna inanıyor.
AI sisteminin insanlar için varoluşsal bir risk oluşturup oluşturmayacağı sorulduğunda LeCun, henüz bir süper AI'mız olmadığını, peki süper AI sistemini nasıl güvenli hale getirebileceğimizi söyledi.
En iyi eşleşen "AI uzman etkinliği"
Güçlü 2023 Zhiyuan Konferansı'nın, bu yıl yerel AI alanında en üst düzey ve en çok izlenen konferans olduğu söylenebilir.
Kurulduğu andan itibaren, Zhiyuan Konferansı'nın temel özellikleri çok açıktır: akademik, profesyonel, ileri teknoloji.
Göz açıp kapayıncaya kadar, AI uzmanlarına yönelik bu yıllık etkinlik beşinci yılına geldi.
Bu kez 2023 Zhiyuan Konferansı, her bir Zhiyuan Konferansının geleneğini sürdürüyor ve akademik atmosfer duygusu hâlâ çok güçlü.
2021'de üçüncü Zhiyuan Konferansı'nda Turing Ödülü sahibi Yoshua Bengio, Pekin Üniversitesi profesörü E Weinan ve Tsinghua Üniversitesi Ulusal Finansal Araştırma Enstitüsü dekanı Zhu Min açılış konuşmaları yapacak.
2022'de iki Turing Ödülü sahibi Yann LeCun ve pekiştirmeli öğrenmenin babası Adi Shamir Richard Sutton, ABD'li akademisyen Michael I. Jordan, Gödel Ödülü sahibi Cynthia Dwork ve diğer ağır sikletler paylaştı.
Ve 2023'e kadar şüphesiz "en yıldızlarla dolu" oturum olacak.
4 Turing Ödülü sahibi Yann LeCun, Geoffrey Hinton, Joseph Sifakis ve Yao Qizhi'nin yanı sıra OpenAI kurucusu Sam Altman, Nobel Ödülü sahibi Arieh Warshel, Future Life Institute kurucusu Max Tegmark ve 2022 Wu Wenjun Supreme Achievement Award sahibi Zheng Nanning Akademisyenleri yer alıyor. ve Çin Bilimler Akademisi'nden akademisyen Zhang Bo katıldı.
Daha da önemlisi, Zhiyuan'ın "Aydınlanma" büyük ölçekli model projesi sürekli olarak "Çin'in ilk + dünyanın en büyüğü" rekorunu kırdıktan sonra, "Enlightenment 3.0" yeni bir "kapsamlı açık kaynak" aşamasına girdi.
"Aydınlanma 3.0" büyük ölçekli bir model serisidir.
Spesifik olarak, Aquila dili büyük ölçekli model serisini, Flag büyük ölçekli model değerlendirme sistemini, "Aydınlanma · Vizyon" görsel büyük ölçekli model serisini ve çok modlu büyük ölçekli model serisini içerir.
Dil Büyük Model Serisi
Aydınlanma·Aquila: tamamen açık ticari lisans
Birincisi, Çince ve İngilizce iki dilli ilk açık kaynak dil modeli olan ve yerel veri uyumluluğu gereksinimlerini destekleyen ve tamamen açık ticari lisanslara sahip olan Aquila serisi modelidir.
Bu açık kaynak, 7 milyar parametre ve 33 milyar parametreden oluşan temel modeli, AquilaChat diyalog modelini ve AquilaCode "metin kodu" oluşturma modelini içerir.
Aydınlanma Aquila açık kaynak adresi:
Daha güçlü performans
Teknik olarak, Aquila temel modeli (7B, 33B) teknik olarak GPT-3, LLaMA, vb.'nin mimari tasarım avantajlarını devralır, bir grup daha verimli temel operatör uygulamalarının yerini alır, Çince-İngilizce iki dilli bir belirteç oluşturucuyu yeniden tasarlar ve uygular, BMTrain paralel eğitim yöntemi yükseltildi ve Aquila'nın eğitim sürecinde eğitim verimliliği, Magtron+DeepSpeed ZeRO-2'den yaklaşık 8 kat daha yüksek.
Spesifik olarak, ilki, eğitim çerçevesini paralel olarak hızlandırmak için yeni bir teknikten yararlanmaktır.
Geçen yıl Zhiyuan, BMTrain gibi yeni bir paralel eğitim yöntemini entegre eden büyük model algoritma açık kaynak projesi FlagAI'yi açık kaynak olarak kullandı. Eğitim sürecinde, hesaplama ve iletişimin yanı sıra çakışan sorunlar daha da optimize edilir.
İkincisi, Zhiyuan operatör optimizasyon teknolojisinin tanıtılmasında başı çekti ve performansı daha da hızlandırmak için paralel hızlandırma yöntemleriyle entegre etti.
Aynı anda Çince ve İngilizce öğrenmek
Aquila'nın piyasaya sürülmesi neden bu kadar cesaret verici?
Çünkü birçok büyük model "yalnızca İngilizce öğrenir" - yalnızca büyük miktarda İngilizce külliyat eğitimine dayanır, ancak Aquila'nın hem Çince hem de İngilizce öğrenmesi gerekir.
Kendiniz deneyimlemiş olabilirsiniz: Bilgi öğrenirken, her zaman İngilizce kullanmaya devam ederseniz sorun değil, ancak İngilizce öğrenip ardından Çince öğrenirseniz, zorluk çok büyük olacaktır.
Bu nedenle, LLaMA ve OPT gibi İngilizce tabanlı modellerle karşılaştırıldığında, hem Çince hem de İngilizce bilgisi öğrenmesi gereken Aquila'nın eğitim zorluğu kat kat arttı.
Aquila'yı Çince görevler için optimize etmek amacıyla Zhiyuan, Çin külliyatının yaklaşık %40'ını eğitim külliyatına koydu. Bunun nedeni, Zhiyuan'ın Aquila'nın yalnızca Çince üretemeyeceğini, aynı zamanda Çin dünyasının birçok yerel bilgisini de anlayabileceğini ummasıdır.
Buna ek olarak Zhiyuan, Çince kelime segmentasyonunu daha iyi tanımak ve desteklemek için Çince-İngilizce iki dilli belirteç oluşturucuyu (belirteç oluşturucu) yeniden tasarladı ve uyguladı.
Çin görevleri için eğitim ve tasarım sürecinde Zhiyuan ekibi, belirteç oluşturucunun boyutunu belirlemek için kalite ve verimliliğin iki boyutunu kasıtlı olarak tartıyor.
AquilaChat diyalog modeli (7B, 33B), pürüzsüz metin diyalogunu ve çok dilli oluşturma görevlerini desteklemek için Aquila temel modeli temel alınarak oluşturulmuştur.
çoklu diyalog turları
Kolej giriş sınavı kompozisyon oluşturma
Ek olarak, genişletilebilir özel talimat spesifikasyonları tanımlayarak, AquilaChat diğer modelleri ve araçları çağırmak için kullanılabilir ve genişletilmesi kolaydır.
Örneğin, Zhiyuan tarafından sağlanan açık kaynaklı AltDiffusion çok dilli metin ve görüntü oluşturma modeli, düzgün metin ve görüntü oluşturma yeteneklerini gerçekleştirmek için kullanılır. Zhiyuan InstructFace çok adımlı kontrol edilebilir Vincent grafik modeli ile işbirliği yaparak, yüz görüntülerinin çok adımlı kontrol edilebilir düzenlemesini de kolayca gerçekleştirebilir.
Metin oluşturma
Çok adımlı kontrol edilebilir yüz düzenleme
Aquila-7B'nin güçlü temel model yeteneklerine dayanan AquilaCode-7B "metin kodu" nesil modeli, küçük bir veri seti ve az miktarda parametre ile yüksek performans elde eder. Şu anda Çince'yi destekleyen en iyi açık kaynak kodu modelidir. ve İngilizce çift dilli performans Yüksek kaliteli filtrelemeden sonra, uyumlu açık kaynak lisansları ile eğitim kodu verileri kullanılarak eğitim gerçekleştirilir.
Ayrıca AquilaCode-7B, sırasıyla Nvidia ve yerli çipler üzerinde kod modellerinin eğitimini tamamlamış olup, açık kaynak kod + çeşitli mimarilerin modelleri aracılığıyla, çip inovasyonunu ve yüz çiçeğin açmasını teşvik etmektedir.
metin kodu oluşturma
Daha uyumlu ve daha temiz Çince külliyat
Aquila'nın yabancı açık kaynak modelleriyle karşılaştırıldığında en belirgin özelliği, yerli veri uyumluluk gereksinimlerini desteklemesidir.
Yabancı büyük ölçekli modeller belirli Çin özelliklerine sahip olabilir, ancak yabancı açık kaynaklı büyük ölçekli modeller tarafından kullanılan Çin İnternet verilerinin neredeyse tamamı Common Crawl gibi İnternet veri kümelerinden çıkarılır.
Bununla birlikte, Common Crawl külliyatını incelersek, 1 milyon girişte 40.000'den az Çince web sayfası olduğunu ve bunların %83'ünün kalite açısından açıkça kontrol edilemeyen denizaşırı web siteleri olduğunu görebiliriz.
Bu nedenle Aquila, Common Crawl'da herhangi bir Çince külliyat kullanmadı, ancak Zhiyuan'ın son üç yılda birikmiş kendi Wudao veri setini kullandı. Wudao Çin veri seti, anakara Çin'deki 10.000'den fazla web sitesinden gelir, bu nedenle Çince verileri uyumluluk gereksinimlerini karşılar ve daha temizdir.
Genel olarak, bu sürüm yalnızca bir başlangıç noktasıdır. Zhiyuan'ın amacı, eksiksiz bir büyük model geliştirme ve yineleme boru hatları seti oluşturmaktır, böylece büyük model daha fazla veri ve daha fazla yetenek eklenerek büyümeye devam edecek ve devam edecek. açık kaynak ve açık olmak.
Aquila'nın tüketici grafik kartlarında mevcut olduğunu belirtmekte fayda var. Örneğin, 7B modeli 16G veya daha küçük video belleğinde çalışabilir.
Kütüphane (Bayrak) büyük model değerlendirme sistemi
Güvenli, güvenilir, kapsamlı ve objektif bir büyük ölçekli model değerlendirme sistemi, büyük ölçekli modellerin teknolojik yenilikleri ve endüstriyel uygulamaları için de çok önemlidir.
Her şeyden önce, akademik topluluk için, büyük modellerin inovasyonunu teşvik etmek istiyorsanız, büyük modellerin yeteneklerini ve kalitesini ölçmek için bir cetveliniz olmalıdır.
İkincisi, endüstri için şirketlerin büyük çoğunluğu mevcut büyük modelleri sıfırdan geliştirmek yerine doğrudan kullanmayı seçecektir. Seçim yaparken, yargılamaya yardımcı olacak bir değerlendirme sistemine ihtiyaç vardır. Ne de olsa, kendi geliştirdiği temel büyük modeller, çok büyük bilgi işlem gücü maliyetlerine dayanır. 30 milyar parametreli bir model geliştirmek için gereken fonlar, en az 20 milyon bilgi işlem gücü, veri vb. içerir.
Buna ek olarak, "otomatik değerlendirme + manüel sübjektif değerlendirme" şeklinde kapsamlı bir büyük ölçekli model değerlendirme sistemi oluşturmanın ve değerlendirme sonuçlarından model yetenek analizine ve ardından yetenek geliştirmeyi modellemeye kadar otomatik kapalı döngüyü gerçekleştirmenin mümkün olup olmadığı, temel büyük ölçekli model yeniliğinin önemli bir yönü haline gelir, engellerden biri.
Bu sıkıntılı noktayı çözmek için Zhiyuan Araştırma Enstitüsü, Libra (Bayrak) büyük ölçekli model değerlendirme sistemini ve açık platformu (flag.baai.ac.cn) başlatmaya öncelik vermeyi seçti.
Flag büyük ölçekli model değerlendirme sistemi ve açık platform, araştırmacılara temel modellerin ve eğitim algoritmalarının performansını kapsamlı bir şekilde değerlendirmede yardımcı olmak için bilimsel, adil ve açık değerlendirme kriterleri, yöntemleri ve araç setleri oluşturmayı amaçlar. başarmak için yapay zeka yöntemlerinin kullanılması Sübjektif değerlendirmenin yardımı, değerlendirmenin etkinliğini ve nesnelliğini büyük ölçüde artırır.
Spesifik olarak, Flag büyük ölçekli model değerlendirme sistemi yenilikçi bir şekilde, temel modelin bilişsel yetenek sınırını ayrıntılı bir şekilde tanımlayabilen ve değerlendirme sonuçlarını görselleştirebilen "yetenek-görev-göstergesi"nin üç boyutlu bir değerlendirme çerçevesini oluşturur.
Şu anda Flag büyük ölçekli model değerlendirme sistemi, 22 değerlendirme veri seti ve 84.433 soru dahil olmak üzere toplam 600'den fazla değerlendirme boyutu içermektedir ve daha boyutlu değerlendirme veri setleri kademeli olarak entegre edilmektedir.
Ayrıca Flag büyük ölçekli model değerlendirme sistemi, büyük ölçekli dil modellerini daha kapsamlı ve bilimsel olarak değerlendirmek için büyük ölçekli dil modeli değerlendirmesinin disiplinler arası araştırmasını ve psikoloji, eğitim ve etik gibi sosyal disiplinleri keşfetmeye devam edecektir. .
30+ yetenek × 5 görev × 4 gösterge kategorisi = 600+ boyutlu kapsamlı değerlendirme
Görsel büyük model serisi
Bilgisayar görüşü açısından, Enlightenment 3.0 ekibi, genel sahne algısı ve karmaşık görev işleme yeteneklerine sahip büyük modellerden oluşan "Enlightenment Vision" serisini yarattı.
Bunların arasında, "Aydınlanma·Vizyonu"nun temelini oluşturan, bu 6 patlamanın SOTA teknolojisidir:
Çok modlu büyük model "Emu", önceden eğitilmiş büyük model "EVA", görsel genel çoklu görev modeli "Ressam", genel görüş segmentasyon modeli, grafik ön eğitim büyük model "EVA-CLIP" ve video düzenleme teknolojisi "vid2vid -sıfır".
1. Emu: Her şeyi çok modlu bir sırayla tamamlama
Emu, çok modlu girdileri kabul eden ve çok modlu çıktılar üreten büyük bir modeldir. Çok modlu bağlam öğrenme teknolojisi yolunu temel alan Emu, grafik metin, taramalı grafik metin ve taramalı video metni gibi büyük çok modlu dizilerden öğrenebilir.
Eğitim tamamlandıktan sonra Emu, çok modlu diziler bağlamında her şeyi tamamlayabilir, resimler, metinler ve videolar gibi çeşitli modaliteleri algılayabilir, akıl yürütebilir ve üretebilir ve çok sayıda grafik-metin diyalogu ve birkaç örnek grafiği tamamlayabilir. -metin anlama, videolu soru-cevap, metinden görüntüye oluşturma, görüntüden görüntüye oluşturma ve diğer çok modlu görevler.
2. EVA: Milyarlarca en güçlü görsel temel model
proje adresi:
Kağıt adresi:
EVA, semantik öğrenme modeli (CLIP) ile geometrik yapı öğrenme yöntemini (MIM) birleştirir ve eğitim için standart ViT modelini 1 milyar parametreye genişletir. ImageNet sınıflandırması, COCO tespiti ve segmentasyonu ve Kinetics video sınıflandırması gibi çok çeşitli görsel algı görevlerinde o zamanki en güçlü performansı bir çırpıda elde etti.
3. EVA-CLIP: En güçlü açık kaynaklı CLIP modeli
Proje adresi: /tree/master/EVA-CLIP
Kağıt adresi:
Çekirdek olarak EVA temel görüş modeli ile geliştirilen EVA-CLIP, 5 milyar parametreye iterasyona tabi tutulmuştur.
%80,1 doğruluk oranıyla önceki OpenCLIP ile karşılaştırıldığında, EVA-CLIP modeli ImageNet1K sıfır örnek üst1'de %82,0 doğruluk oranına sahiptir. ImageNet kNN doğruluğu açısından Meta'nın en yeni DINOv2 modeli, 1 milyar parametreli EVA-CLIP ile eşittir.
4. Ressam: İlk "bağlamsal görüntü öğrenimi" teknoloji yolu
proje adresi:
Kağıt adresi:
Ressam modellemenin genel görsel modelinin temel fikri "vizyon merkezli"dir.Görüntüleri girdi ve çıktı olarak kullanarak, farklı görsel görevleri tamamlamak için bağlamsal görsel bilgiler elde edilir.
5. Ufukların Evrensel Bölümleme Modeli: Hepsi Bir Arada, Her Şeyi Böl
Horizon evrensel bölümleme modeli, güçlü bir görsel bağlam muhakeme yeteneğine sahiptir ve yalnızca bir veya birkaç örnek görüntüye ve görsel ipuçlarına ihtiyaç duyar ve model, kullanıcı niyetlerini anlayabilir ve benzer bölümleme görevlerini tamamlayabilir.
Basitçe ifade etmek gerekirse, kullanıcılar ekranda bir nesne sınıfını işaretler ve tanır ve mevcut ekranda veya diğer ekranlarda veya video ortamlarında benzer nesneleri gruplar halinde tanımlayabilir ve bölümlere ayırabilir.
6. vid2vid-zero: Sektörün ilk sıfır örnekli video düzenleme teknolojisi
proje adresi:
Kağıt bağlantısı:
Tanıtım sitesi:
Sıfır örnekli video düzenleme teknolojisi "vid2vid-zero", ek video ön eğitimi olmadan video düzenleme için bir model çerçevesi oluşturmak için ilk kez dikkat mekanizmasının dinamik özelliklerini mevcut görüntü difüzyon modeliyle birleştirerek kullanır. Şimdi, sadece bir video yükleyin ve ardından bir dizi metin istemi girin, videoyu belirtilen niteliklerle düzenleyebilirsiniz.
Çin'in büyük ölçekli model araştırmasının aydınlatıcısı
Kasım 2018'de kurulan Zhiyuan Araştırma Enstitüsü, Çin'de büyük ölçekli model araştırmasının öncüsüdür ve beş yıllık geliştirmenin ardından Çin'de büyük ölçekli model araştırması için bir ölçüt haline gelmiştir.
Diğer kurumlardan farklı kılan, Zhiyuan Araştırma Enstitüsü'nün bir platform kurumu olmasıdır. Zhiyuan Araştırma Enstitüsü, kuruluşunun başında yapay zeka inovasyon ekosistemi oluşturmayı temel misyon ve görevlerinden biri olarak aldı.
Zhiyuan, kuruluşundan bu yana Çin'de büyük ölçekli model araştırmasının gelişimini nasıl destekledi?
Aslında, Zhiyuan Araştırma Enstitüsü'nün kurulması, yabancı büyük ölçekli modellerin ortaya çıkması için tam zamanında gerçekleşti.
Konu açılmışken, 2015 yılında kurulan OpenAI araştırmasının ana yönü AGI'ye giden yolu keşfetmektir ve bu büyük bir model değildir.
2018'den sonra büyük modellere odaklanmaya başlayan OpenAI, Haziran ayında 117 milyon parametreli GPT'yi piyasaya sürdü. Aynı yıl Google, 300 milyon parametreli büyük ölçekli önceden eğitilmiş bir dil modeli olan BERT'yi de piyasaya sürdü.
2018'deki tüm endüstri trendinin ve teknoloji trendinin daha büyük bir model yapmak olduğunu herkes fark etti.
Modelin kullandığı işlem gücü arttıkça Moore Yasası sözde "model yasa" haline gelir, yani büyük bir modeli eğitmek için kullanılan işlem gücü 3-4 ayda ikiye katlanır.
Yapay zeka alanındaki en iyi akademisyenleri bir araya getirmeye öncülük eden ve büyük modellerin keşfine başlayan Zhiyuan Araştırma Enstitüsü de 2018'de kuruldu.
Sonuç olarak, 2021'de Zhiyuan art arda iki büyük Enlightenment 1.0 ve Enlightenment 2.0 modelini piyasaya sürdü.
Huang Tiejun'a göre, Mart 2021'deki Enlightenment 1.0 basın toplantısında Zhiyuan Research, yapay zekanın "büyük model"den yeni bir "büyük model" aşamasına geçtiğine karar verdi. O zamandan beri "büyük model" kavramı değişti kamuoyunun görüşüne girdi.
Her yıl Zhiyuan Konferansında, AGI'nin zirvesine tırmanmak için kullanılan üç ana teknik yol anlatılacak: büyük modeller, yaşam zekası ve AI4Science. Bu üç yol izole değildir, birbirlerini etkiler ve etkilerler.
Günümüzde büyük modellerin ortaya çıkma yeteneğinin ana nedeni, arkalarındaki devasa verilerden kaynaklanmaktadır.
Dilsel verilerin kendisi, büyük ölçekli modellerle elde edilen zengin bilgi ve zeka içerir ve sinir ağları, karmaşık verilerin arkasındaki yasaları ifade etmek için kullanılır.
Bu, büyük modelin teknik yollarından birinin AGI'ye yol açabilmesinin makul bir nedenidir.
Bu aynı zamanda Zhiyuan'ın başlangıçta neden büyük modele odaklandığını da açıklıyor. Mart 2021'de Enlightenment 1.0, ardından Haziran'da Enlightenment 2.0 yayınlandı.
Ayrıca Zhiyuan, büyük modele ek olarak AGI'ye giden diğer iki yolu da sürekli olarak araştırıyor, "Life Intelligence" ve "AI4Science".
2022'de Zhiyuan, Caenorhabditis elegans'ın en doğru simülasyonunu yayınladı. Bu kez Zhiyuan, çevrimiçi hizmetler sağlamak için yapay nematod çalışmalarında kullanılan yaşam simülasyonu platformu "eVolution-eVolution"u açtı.
Tianyan, dört önemli özelliğe sahip ultra büyük ölçekli bir ince nöron ağı simülasyon platformudur: ince nöron ağı simülasyonu için en verimli platform, ultra büyük ölçekli sinir ağı simülasyonu desteği, tek elden çevrimiçi modelleme ve simülasyon araç seti sağlar; Yüksek kaliteli görsel etkileşim, gerçek zamanlı simülasyonu ve görsel ortak çalışmayı destekler.
Tianyan platformuna dayalı olarak, biyolojik zekanın yüksek hassasiyetli simülasyonunu gerçekleştirir, zekanın özünü araştırır ve biyolojiden ilham alan genel yapay zekayı destekler. Ayrıca Tianyan ekibi, Tianyan'ı ülkemin yeni nesil exascale süper bilgisayarı olan Tianhe yeni nesil süper bilgisayarına bağladı.
"Tianyan-Tianhe"nin başarılı bir şekilde konuşlandırılması ve işletilmesi sayesinde, fare beyni V1 görsel korteks ince ağı gibi modellerin simülasyonu gerçekleştirilebilir ve hesaplama enerji tüketimi 10 kattan fazla azaltılabilir ve hesaplama hızı 10 kattan fazla artırılarak dünyanın en uç noktasına ulaşılır İnce nöron ağı simülasyonunun performansı, tüm insan beyninin ince simülasyonunun gerçekleştirilmesi için sağlam bir temel oluşturur.
Şimdi, iki yıl sonra Zhiyuan, Enlightenment 3.0 serisi büyük modelleri yeniden piyasaya sürdü.
Konumlandırma açısından, Enlightenment 2.0'ın piyasaya sürülmesinden bu yana, kar amacı gütmeyen bir platform kuruluşu olarak Zhiyuan, yalnızca modeller ve modeller yapmakla kalmıyor, aynı zamanda büyük modellerin çekirdek ekolojisinin inşasına kademeli olarak benzersiz katkılar sağlıyor.
Bunlar arasında, modelin arkasında veri sıralama, model testi, algoritma testi, açık kaynak ve açık kuruluşlar ve kapsamlı bir bilgi işlem gücü platformları düzeni bulunur.
Zhiyuan neden böyle bir değişiklik yaptı?
Çünkü Zhiyuan, büyük modelin kendisinin büyük model çağındaki en önemli ürün biçimi olmadığını, sistematizasyon ve entelektüel hizmetler ile karakterize edilen yeni bir dönem olduğunu derinden anlıyor.
Şu anda, büyük model gelişmeye devam edecek ve değişmeden kalan şey, arkasındaki teknik yineleme, yani modeli eğitmek için kullanılan algoritmadır.
Her gün gördüğünüz en son model, yalnızca sağlamlaştırılmış bir sonuçtur.Önemli olan, modeli eğitmek için kullanılan algoritmanın gelişmiş olup olmadığı, maliyetin etkili bir şekilde azaltılıp azaltılmadığı ve arkasındaki yeteneğin açıklanabilir ve kontrol edilebilir olup olmadığıdır.
Bu nedenle, bir platform organizasyonu olarak Zhiyuan'ın yapması gereken, endüstrinin eğitim modellerinin algoritmalarını yinelemeli bir bütün halinde bir araya getirmektir.
Zhiyuan sadece büyük ölçekli model algoritmasının kendisi üzerinde çalışmakla kalmıyor, aynı zamanda büyük ölçekli modelin teknik sisteminin geliştirilmesi için daha fazla zaman ve enerji harcıyor.
Örneğin Zhiyuan, büyük ölçekli model eğitimi için bilgi işlem gücü, veri ve algoritma desteği sağlamak üzere büyük ölçekli bir bulut bilgi işlem hizmet platformu "Jiuding Akıllı Bilgi İşlem Platformu" başlattı.
Tabii ki, sadece Zhiyuan'ın kendi gücü değil, aynı zamanda endüstri-üniversite-araştırma enstitüleri de işbirliği yapmak ve açık bir şekilde yinelemek.
Bu yılın Mart ayında Zhiyuan, bir dizi endüstri-üniversite-araştırma birimi ile ortaklaşa oluşturulmuş büyük ölçekli modeller için açık kaynaklı ve açık yazılım sistemi olan FlagOpen Feizhi büyük ölçekli model teknolojisi açık kaynak sistemini piyasaya sürdü.
Dean Huang Tiejun'un dediği gibi, "Artık büyük modelin yapay zeka endüstrisinin gelişiminde lider güç haline gelmesine göre, gelecekte daha fazla destekleyici çalışma yapacağımızı ve bu çağa benzersiz bir güç katacağımızı umuyoruz."
Bu yılki Zhiyuan Konferansı'nın öncekilere göre en büyük özelliği nedir diye sorabilirsiniz.
Stil tutarlı, iki kelimeyle özetleniyor: profesyonel ve saf.
Zhiyuan Konferansı, herhangi bir gerçekçi hedef olmaksızın gerçekleştirildi ve ürünlere ve yatırımcılara dikkat edilmedi.
Burada endüstri liderleri kişisel görüşlerini ileri sürebilir ve profesyonel bir bakış açısıyla yargılarda bulunabilir ve elbette birçok gerçekçi faktörü göz önünde bulundurmak zorunda kalmadan üst düzey görüşlerin çarpışmalarını ve tartışmalarını içerebilir.
"Yapay zekanın vaftiz babası" Geoffrey Hinton, bu yıl ilk kez Zhiyuan Konferansı'na katıldı.Bir süre önce, hayatı boyunca yaptığı işten pişmanlık duyduğu için Google'dan istifa etti. Yapay zeka güvenliği ile ilgili en son görüşleri yayınladı.
Her zaman olduğu gibi, bir "iyimser" olan Yann LeCun, çoğu insan gibi yapay zekanın riskleri konusunda endişelenmeyecek. Ona göre, araba yapılmadan önce fren yapmak mantıksız. Şu anda, geliştirmek için hala çok çalışmamız gerekiyor. daha gelişmiş AI teknolojisi ve algoritmaları.
Aynı zamanda toplantıda şiddetli bir görüş çatışmasını da göreceksiniz. AI Riskini Kontrol Etme Konusunda Max Tegmark. LeCun'a tamamen zıt olduğu söylenemese de arada büyük farklılıklar da bulunuyor.
Bu, Zhiyuan Konferansı'nın en önemli özelliği ve aynı zamanda tutarlı bir tarz.
Bu konumlandırmanın benzersizliği son yıllarda giderek daha önemli hale geldi.
Yapay zekanın gelişimi dünya ve Çin üzerinde giderek artan bir etkiye sahip, bu nedenle ideolojik çarpışmalar ve hararetli tartışmalar da dahil olmak üzere herkesin görüşlerini saf bir şekilde ifade etmek için bir fırsata ihtiyacı var.
Bunun önemi şudur ki, konferanslar ne kadar profesyonel, daha saf, daha tarafsız ve daha açık olursa, böylesine hızlı bir gelişim döneminin etkisini herkesin daha iyi kavramasına o kadar yardımcı olur.
Zhiyuan Konferansı yabancı ülkelerde de mükemmel bir üne sahiptir.Uluslararası kuruluşlar, Zhiyuan Konferansını yapay zeka araştırmalarında Çin ile işbirliği için bir pencere olarak görmektedir.
Zhiyuan isminin kökeni aynı zamanda istihbarat kaynağıdır. Bu nedenle, Zhiyuan Konferansı'nın düzenlenmesi, yapay zekanın ekolojik gelişimini desteklemek için dönüm noktası niteliğinde bir olay haline geldi.
Güçlü konuk kadrosu, konu düzeninin zenginliği ve içerik tartışmalarının derinliği benzersiz bir Zhiyuan Konferansı yaratmıştır.
Yapay zeka uzmanlarına özel bu önemli etkinlik, Çin'de yapay zeka alanında parlak bir kartvizit haline geldi.
Referanslar:
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Sam Altman ve Hinton Çin'de ilk kez sahneye çıkıyor! Çin'deki en zorlu AI uzman etkinliği başarıyla sonuçlandı ve yerli büyük ölçekli model "Enlightenment 3.0" tamamen açık kaynaklıydı
**Kaynak:**Xinzhiyuan
Az önce, yıllık yerel "AI Bahar Şenliği Galası" Zhiyuan Konferansı başarıyla sonuçlandı!
Bu yapay zeka yıllık zirve etkinliğinde OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI vb. gibi tanıdık yıldız takımlar var, Meta, Google, Microsoft ve dünyayı fethetmiş diğer büyük üreticiler var ve orada Stanford, UC Berkeley, MIT ve dünyanın diğer en iyi üniversiteleridir.
GPT-4, PaLM-E, OPT, LLaMA gibi önemli eserlerin yazarlarının hepsi katıldı ve araştırma sonuçlarını bize açıkladı. Bu konferansın hem profesyonel derinliğe hem de yaratıcı ilhama sahip olduğu söylenebilir ve her konu en uç noktasına kadar tartışıldı.
Konferansın doruk noktası şüphesiz Turing Ödülü sahibi Yann LeCun, Geoffrey Hinton ve OpenAI kurucusu Sam Altman'ın konuşmalarıydı.
Geoffrey Hinton: Süper AI riski acil
Forumun az önce sona eren kapanış açılış konuşmasında, Turing Ödülü sahibi ve derin öğrenmenin babası Hinton, bizim için üzerinde düşünmeye değer bir senaryo tasarladı.
Evet, ona göre bu yakında olabilir.
Bir süre önce olduğu gibi Hinton, Google'dan istifa etmiş ve istifasının nedenlerini kısaca açıklamıştı. Hayatı boyunca yaptığı işten duyduğu pişmanlıktan ve yapay zekanın tehlikelerinden duyduğu endişeden bahsetti. Yapay zekanın dünyaya yönelik tehlikelerinin iklim değişikliğinden daha acil olduğunu defalarca kamuoyuna açıkladı.
Benzer şekilde, Zhiyuan Konferansında Hinton, AI risklerinden tekrar bahsetti.
Birden çok dijital bilgisayarda çalışan büyük bir sinir ağı, insan bilgisi için insan dilini taklit etmenin yanı sıra doğrudan dünyadan bilgi edinebilirse ne olur?
Bu sinir ağı, görüntülerin veya videoların denetimsiz modellemesini gerçekleştirebiliyorsa ve kopyaları da fiziksel dünyayı manipüle edebiliyorsa, bu fikir hiç de abartılı değil.
Bir süper zekanın kendi alt hedeflerini formüle etmesine izin verilirse, bir alt hedef daha fazla güç kazanmaktır, süper zeka, bu hedefe ulaşmak için onu kullanan insanları manipüle edecektir.
Zhang Hongjiang ve Sam Altman Peak Soru-Cevap: AGI on yıl içinde ortaya çıkabilir
Bu sabah Sam Altman da video bağlantısı aracılığıyla ortaya çıktı. ChatGPT patladıktan sonra Sam Altman Çin'de ilk kez halka açık bir konuşma yapıyor.
-Mevcut AI devriminin bu kadar etkili olmasının nedeni, yalnızca etkisinin ölçeği değil, aynı zamanda ilerleme hızıdır. Bu hem kazanç hem de risk getirir.
Giderek daha güçlü hale gelen AI sistemlerinin ortaya çıkmasıyla birlikte, uluslararası işbirliğini güçlendirmek ve küresel güven inşa etmek çok önemlidir.
Hizalama hala açık bir konudur. GPT-4, temel olarak ölçeklenebilirlik ve açıklanabilirlik dahil olmak üzere uyum çalışmalarını son 8 ayda tamamladı.
Altman konuşmasında, küresel AI güvenlik uyumu ve denetiminin gerekliliğini defalarca vurguladı ve özellikle Tao Te Ching'den bir cümle alıntıladı:
Ona göre yapay zeka patlayıcı bir hızla gelişiyor ve önümüzdeki on yıl içinde süper yapay zeka ortaya çıkabilir.
Bu nedenle, AGI güvenliğini teşvik etmek, uluslararası işbirliğini güçlendirmek ve ilgili araştırma dağıtımlarını uyumlu hale getirmek gereklidir.
Sam Altman, uluslararası bilim ve teknoloji camiasındaki işbirliğinin şu anda yapıcı bir adım atmak için ilk adım olduğuna inanıyor. Özellikle, AGI güvenliğinde teknolojik ilerleme için şeffaflık ve bilgi paylaşım mekanizmaları geliştirilmelidir.
Buna ek olarak Altman, OpenAI'nin mevcut ana araştırma hedefinin AI hizalama araştırmasına, yani AI'yı nasıl yararlı ve güvenli bir asistan haline getireceğine odaklandığından bahsetti.
Nihayetinde OpenAI, hizalama araştırmasına yardımcı olmak için AI sistemlerini eğitmeyi amaçlamaktadır.
Konuşmanın ardından, Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ve Sam Altman, yapay zekanın nasıl güvenli bir şekilde hizalanacağını tartışmak için bir hava diyaloğu açtı.
Ayrıca, yakın zamanda GPT-5'in olmayacağını da söyledi.
Toplantıdan sonra Altman, Zhiyuan Konferansı'nda bir konuşma yapmaya davet edildiği için minnettarlığını ifade eden bir mesaj yayınladı.
LeCun: hala dünya modelinin hayranı
İlk gün konuşan bir diğer Turing Ödülü sahibi LeCun, yine de kendi "dünya modeli" konseptini tanıtmaya devam etti.
Kısmen mevcut makine öğrenimi sistemlerinin girdi ve çıktı arasında temelde sabit hesaplama adımlarına sahip olması nedeniyle yapay zekanın insanlar ve hayvanlar gibi akıl yürütemeyeceğini ve planlayamayacağını açıkladı.
Bir makine, dünyanın nasıl çalıştığını nasıl anlayabilir, insanlar gibi eylemlerin sonuçlarını nasıl tahmin edebilir veya karmaşık görevleri planlamak için onu birden çok adıma nasıl bölebilir?
LeCun, önümüzdeki birkaç yıl içinde yapay zekanın üç büyük zorluğunun dünyanın temsilini öğrenmek, dünya modelini tahmin etmek ve kendi kendini denetleyen öğrenmeyi kullanmak olduğunu belirlediğini söyledi.
İnsan düzeyinde bir yapay zeka oluşturmanın anahtarı, bir "dünya modeli" öğrenme yeteneği olabilir.
Bunların arasında "dünya modeli" altı bağımsız modülden oluşur: konfigüratör modülü, algı modülü, dünya modeli, maliyet modülü, aktör modülü ve kısa süreli bellek modülü.
AI sisteminin insanlar için varoluşsal bir risk oluşturup oluşturmayacağı sorulduğunda LeCun, henüz bir süper AI'mız olmadığını, peki süper AI sistemini nasıl güvenli hale getirebileceğimizi söyledi.
En iyi eşleşen "AI uzman etkinliği"
Güçlü 2023 Zhiyuan Konferansı'nın, bu yıl yerel AI alanında en üst düzey ve en çok izlenen konferans olduğu söylenebilir.
Kurulduğu andan itibaren, Zhiyuan Konferansı'nın temel özellikleri çok açıktır: akademik, profesyonel, ileri teknoloji.
Göz açıp kapayıncaya kadar, AI uzmanlarına yönelik bu yıllık etkinlik beşinci yılına geldi.
Bu kez 2023 Zhiyuan Konferansı, her bir Zhiyuan Konferansının geleneğini sürdürüyor ve akademik atmosfer duygusu hâlâ çok güçlü.
2022'de iki Turing Ödülü sahibi Yann LeCun ve pekiştirmeli öğrenmenin babası Adi Shamir Richard Sutton, ABD'li akademisyen Michael I. Jordan, Gödel Ödülü sahibi Cynthia Dwork ve diğer ağır sikletler paylaştı.
Ve 2023'e kadar şüphesiz "en yıldızlarla dolu" oturum olacak.
4 Turing Ödülü sahibi Yann LeCun, Geoffrey Hinton, Joseph Sifakis ve Yao Qizhi'nin yanı sıra OpenAI kurucusu Sam Altman, Nobel Ödülü sahibi Arieh Warshel, Future Life Institute kurucusu Max Tegmark ve 2022 Wu Wenjun Supreme Achievement Award sahibi Zheng Nanning Akademisyenleri yer alıyor. ve Çin Bilimler Akademisi'nden akademisyen Zhang Bo katıldı.
"Aydınlanma 3.0" büyük ölçekli bir model serisidir.
Spesifik olarak, Aquila dili büyük ölçekli model serisini, Flag büyük ölçekli model değerlendirme sistemini, "Aydınlanma · Vizyon" görsel büyük ölçekli model serisini ve çok modlu büyük ölçekli model serisini içerir.
Dil Büyük Model Serisi
Aydınlanma·Aquila: tamamen açık ticari lisans
Birincisi, Çince ve İngilizce iki dilli ilk açık kaynak dil modeli olan ve yerel veri uyumluluğu gereksinimlerini destekleyen ve tamamen açık ticari lisanslara sahip olan Aquila serisi modelidir.
Bu açık kaynak, 7 milyar parametre ve 33 milyar parametreden oluşan temel modeli, AquilaChat diyalog modelini ve AquilaCode "metin kodu" oluşturma modelini içerir.
Daha güçlü performans
Teknik olarak, Aquila temel modeli (7B, 33B) teknik olarak GPT-3, LLaMA, vb.'nin mimari tasarım avantajlarını devralır, bir grup daha verimli temel operatör uygulamalarının yerini alır, Çince-İngilizce iki dilli bir belirteç oluşturucuyu yeniden tasarlar ve uygular, BMTrain paralel eğitim yöntemi yükseltildi ve Aquila'nın eğitim sürecinde eğitim verimliliği, Magtron+DeepSpeed ZeRO-2'den yaklaşık 8 kat daha yüksek.
Spesifik olarak, ilki, eğitim çerçevesini paralel olarak hızlandırmak için yeni bir teknikten yararlanmaktır.
Geçen yıl Zhiyuan, BMTrain gibi yeni bir paralel eğitim yöntemini entegre eden büyük model algoritma açık kaynak projesi FlagAI'yi açık kaynak olarak kullandı. Eğitim sürecinde, hesaplama ve iletişimin yanı sıra çakışan sorunlar daha da optimize edilir.
İkincisi, Zhiyuan operatör optimizasyon teknolojisinin tanıtılmasında başı çekti ve performansı daha da hızlandırmak için paralel hızlandırma yöntemleriyle entegre etti.
Aynı anda Çince ve İngilizce öğrenmek
Aquila'nın piyasaya sürülmesi neden bu kadar cesaret verici?
Çünkü birçok büyük model "yalnızca İngilizce öğrenir" - yalnızca büyük miktarda İngilizce külliyat eğitimine dayanır, ancak Aquila'nın hem Çince hem de İngilizce öğrenmesi gerekir.
Kendiniz deneyimlemiş olabilirsiniz: Bilgi öğrenirken, her zaman İngilizce kullanmaya devam ederseniz sorun değil, ancak İngilizce öğrenip ardından Çince öğrenirseniz, zorluk çok büyük olacaktır.
Bu nedenle, LLaMA ve OPT gibi İngilizce tabanlı modellerle karşılaştırıldığında, hem Çince hem de İngilizce bilgisi öğrenmesi gereken Aquila'nın eğitim zorluğu kat kat arttı.
Aquila'yı Çince görevler için optimize etmek amacıyla Zhiyuan, Çin külliyatının yaklaşık %40'ını eğitim külliyatına koydu. Bunun nedeni, Zhiyuan'ın Aquila'nın yalnızca Çince üretemeyeceğini, aynı zamanda Çin dünyasının birçok yerel bilgisini de anlayabileceğini ummasıdır.
Buna ek olarak Zhiyuan, Çince kelime segmentasyonunu daha iyi tanımak ve desteklemek için Çince-İngilizce iki dilli belirteç oluşturucuyu (belirteç oluşturucu) yeniden tasarladı ve uyguladı.
Çin görevleri için eğitim ve tasarım sürecinde Zhiyuan ekibi, belirteç oluşturucunun boyutunu belirlemek için kalite ve verimliliğin iki boyutunu kasıtlı olarak tartıyor.
AquilaChat diyalog modeli (7B, 33B), pürüzsüz metin diyalogunu ve çok dilli oluşturma görevlerini desteklemek için Aquila temel modeli temel alınarak oluşturulmuştur.
Ek olarak, genişletilebilir özel talimat spesifikasyonları tanımlayarak, AquilaChat diğer modelleri ve araçları çağırmak için kullanılabilir ve genişletilmesi kolaydır.
Örneğin, Zhiyuan tarafından sağlanan açık kaynaklı AltDiffusion çok dilli metin ve görüntü oluşturma modeli, düzgün metin ve görüntü oluşturma yeteneklerini gerçekleştirmek için kullanılır. Zhiyuan InstructFace çok adımlı kontrol edilebilir Vincent grafik modeli ile işbirliği yaparak, yüz görüntülerinin çok adımlı kontrol edilebilir düzenlemesini de kolayca gerçekleştirebilir.
Aquila-7B'nin güçlü temel model yeteneklerine dayanan AquilaCode-7B "metin kodu" nesil modeli, küçük bir veri seti ve az miktarda parametre ile yüksek performans elde eder. Şu anda Çince'yi destekleyen en iyi açık kaynak kodu modelidir. ve İngilizce çift dilli performans Yüksek kaliteli filtrelemeden sonra, uyumlu açık kaynak lisansları ile eğitim kodu verileri kullanılarak eğitim gerçekleştirilir.
Daha uyumlu ve daha temiz Çince külliyat
Aquila'nın yabancı açık kaynak modelleriyle karşılaştırıldığında en belirgin özelliği, yerli veri uyumluluk gereksinimlerini desteklemesidir.
Yabancı büyük ölçekli modeller belirli Çin özelliklerine sahip olabilir, ancak yabancı açık kaynaklı büyük ölçekli modeller tarafından kullanılan Çin İnternet verilerinin neredeyse tamamı Common Crawl gibi İnternet veri kümelerinden çıkarılır.
Bununla birlikte, Common Crawl külliyatını incelersek, 1 milyon girişte 40.000'den az Çince web sayfası olduğunu ve bunların %83'ünün kalite açısından açıkça kontrol edilemeyen denizaşırı web siteleri olduğunu görebiliriz.
Bu nedenle Aquila, Common Crawl'da herhangi bir Çince külliyat kullanmadı, ancak Zhiyuan'ın son üç yılda birikmiş kendi Wudao veri setini kullandı. Wudao Çin veri seti, anakara Çin'deki 10.000'den fazla web sitesinden gelir, bu nedenle Çince verileri uyumluluk gereksinimlerini karşılar ve daha temizdir.
Genel olarak, bu sürüm yalnızca bir başlangıç noktasıdır. Zhiyuan'ın amacı, eksiksiz bir büyük model geliştirme ve yineleme boru hatları seti oluşturmaktır, böylece büyük model daha fazla veri ve daha fazla yetenek eklenerek büyümeye devam edecek ve devam edecek. açık kaynak ve açık olmak.
Aquila'nın tüketici grafik kartlarında mevcut olduğunu belirtmekte fayda var. Örneğin, 7B modeli 16G veya daha küçük video belleğinde çalışabilir.
Kütüphane (Bayrak) büyük model değerlendirme sistemi
Güvenli, güvenilir, kapsamlı ve objektif bir büyük ölçekli model değerlendirme sistemi, büyük ölçekli modellerin teknolojik yenilikleri ve endüstriyel uygulamaları için de çok önemlidir.
Her şeyden önce, akademik topluluk için, büyük modellerin inovasyonunu teşvik etmek istiyorsanız, büyük modellerin yeteneklerini ve kalitesini ölçmek için bir cetveliniz olmalıdır.
İkincisi, endüstri için şirketlerin büyük çoğunluğu mevcut büyük modelleri sıfırdan geliştirmek yerine doğrudan kullanmayı seçecektir. Seçim yaparken, yargılamaya yardımcı olacak bir değerlendirme sistemine ihtiyaç vardır. Ne de olsa, kendi geliştirdiği temel büyük modeller, çok büyük bilgi işlem gücü maliyetlerine dayanır. 30 milyar parametreli bir model geliştirmek için gereken fonlar, en az 20 milyon bilgi işlem gücü, veri vb. içerir.
Buna ek olarak, "otomatik değerlendirme + manüel sübjektif değerlendirme" şeklinde kapsamlı bir büyük ölçekli model değerlendirme sistemi oluşturmanın ve değerlendirme sonuçlarından model yetenek analizine ve ardından yetenek geliştirmeyi modellemeye kadar otomatik kapalı döngüyü gerçekleştirmenin mümkün olup olmadığı, temel büyük ölçekli model yeniliğinin önemli bir yönü haline gelir, engellerden biri.
Bu sıkıntılı noktayı çözmek için Zhiyuan Araştırma Enstitüsü, Libra (Bayrak) büyük ölçekli model değerlendirme sistemini ve açık platformu (flag.baai.ac.cn) başlatmaya öncelik vermeyi seçti.
Spesifik olarak, Flag büyük ölçekli model değerlendirme sistemi yenilikçi bir şekilde, temel modelin bilişsel yetenek sınırını ayrıntılı bir şekilde tanımlayabilen ve değerlendirme sonuçlarını görselleştirebilen "yetenek-görev-göstergesi"nin üç boyutlu bir değerlendirme çerçevesini oluşturur.
Şu anda Flag büyük ölçekli model değerlendirme sistemi, 22 değerlendirme veri seti ve 84.433 soru dahil olmak üzere toplam 600'den fazla değerlendirme boyutu içermektedir ve daha boyutlu değerlendirme veri setleri kademeli olarak entegre edilmektedir.
Ayrıca Flag büyük ölçekli model değerlendirme sistemi, büyük ölçekli dil modellerini daha kapsamlı ve bilimsel olarak değerlendirmek için büyük ölçekli dil modeli değerlendirmesinin disiplinler arası araştırmasını ve psikoloji, eğitim ve etik gibi sosyal disiplinleri keşfetmeye devam edecektir. .
Görsel büyük model serisi
Bilgisayar görüşü açısından, Enlightenment 3.0 ekibi, genel sahne algısı ve karmaşık görev işleme yeteneklerine sahip büyük modellerden oluşan "Enlightenment Vision" serisini yarattı.
Bunların arasında, "Aydınlanma·Vizyonu"nun temelini oluşturan, bu 6 patlamanın SOTA teknolojisidir:
Çok modlu büyük model "Emu", önceden eğitilmiş büyük model "EVA", görsel genel çoklu görev modeli "Ressam", genel görüş segmentasyon modeli, grafik ön eğitim büyük model "EVA-CLIP" ve video düzenleme teknolojisi "vid2vid -sıfır".
1. Emu: Her şeyi çok modlu bir sırayla tamamlama
Eğitim tamamlandıktan sonra Emu, çok modlu diziler bağlamında her şeyi tamamlayabilir, resimler, metinler ve videolar gibi çeşitli modaliteleri algılayabilir, akıl yürütebilir ve üretebilir ve çok sayıda grafik-metin diyalogu ve birkaç örnek grafiği tamamlayabilir. -metin anlama, videolu soru-cevap, metinden görüntüye oluşturma, görüntüden görüntüye oluşturma ve diğer çok modlu görevler.
2. EVA: Milyarlarca en güçlü görsel temel model
Kağıt adresi:
EVA, semantik öğrenme modeli (CLIP) ile geometrik yapı öğrenme yöntemini (MIM) birleştirir ve eğitim için standart ViT modelini 1 milyar parametreye genişletir. ImageNet sınıflandırması, COCO tespiti ve segmentasyonu ve Kinetics video sınıflandırması gibi çok çeşitli görsel algı görevlerinde o zamanki en güçlü performansı bir çırpıda elde etti.
3. EVA-CLIP: En güçlü açık kaynaklı CLIP modeli
Kağıt adresi:
Çekirdek olarak EVA temel görüş modeli ile geliştirilen EVA-CLIP, 5 milyar parametreye iterasyona tabi tutulmuştur.
%80,1 doğruluk oranıyla önceki OpenCLIP ile karşılaştırıldığında, EVA-CLIP modeli ImageNet1K sıfır örnek üst1'de %82,0 doğruluk oranına sahiptir. ImageNet kNN doğruluğu açısından Meta'nın en yeni DINOv2 modeli, 1 milyar parametreli EVA-CLIP ile eşittir.
4. Ressam: İlk "bağlamsal görüntü öğrenimi" teknoloji yolu
Kağıt adresi:
Ressam modellemenin genel görsel modelinin temel fikri "vizyon merkezli"dir.Görüntüleri girdi ve çıktı olarak kullanarak, farklı görsel görevleri tamamlamak için bağlamsal görsel bilgiler elde edilir.
5. Ufukların Evrensel Bölümleme Modeli: Hepsi Bir Arada, Her Şeyi Böl
Basitçe ifade etmek gerekirse, kullanıcılar ekranda bir nesne sınıfını işaretler ve tanır ve mevcut ekranda veya diğer ekranlarda veya video ortamlarında benzer nesneleri gruplar halinde tanımlayabilir ve bölümlere ayırabilir.
6. vid2vid-zero: Sektörün ilk sıfır örnekli video düzenleme teknolojisi
Kağıt bağlantısı:
Tanıtım sitesi:
Sıfır örnekli video düzenleme teknolojisi "vid2vid-zero", ek video ön eğitimi olmadan video düzenleme için bir model çerçevesi oluşturmak için ilk kez dikkat mekanizmasının dinamik özelliklerini mevcut görüntü difüzyon modeliyle birleştirerek kullanır. Şimdi, sadece bir video yükleyin ve ardından bir dizi metin istemi girin, videoyu belirtilen niteliklerle düzenleyebilirsiniz.
Çin'in büyük ölçekli model araştırmasının aydınlatıcısı
Kasım 2018'de kurulan Zhiyuan Araştırma Enstitüsü, Çin'de büyük ölçekli model araştırmasının öncüsüdür ve beş yıllık geliştirmenin ardından Çin'de büyük ölçekli model araştırması için bir ölçüt haline gelmiştir.
Diğer kurumlardan farklı kılan, Zhiyuan Araştırma Enstitüsü'nün bir platform kurumu olmasıdır. Zhiyuan Araştırma Enstitüsü, kuruluşunun başında yapay zeka inovasyon ekosistemi oluşturmayı temel misyon ve görevlerinden biri olarak aldı.
Zhiyuan, kuruluşundan bu yana Çin'de büyük ölçekli model araştırmasının gelişimini nasıl destekledi?
Konu açılmışken, 2015 yılında kurulan OpenAI araştırmasının ana yönü AGI'ye giden yolu keşfetmektir ve bu büyük bir model değildir.
2018'den sonra büyük modellere odaklanmaya başlayan OpenAI, Haziran ayında 117 milyon parametreli GPT'yi piyasaya sürdü. Aynı yıl Google, 300 milyon parametreli büyük ölçekli önceden eğitilmiş bir dil modeli olan BERT'yi de piyasaya sürdü.
2018'deki tüm endüstri trendinin ve teknoloji trendinin daha büyük bir model yapmak olduğunu herkes fark etti.
Modelin kullandığı işlem gücü arttıkça Moore Yasası sözde "model yasa" haline gelir, yani büyük bir modeli eğitmek için kullanılan işlem gücü 3-4 ayda ikiye katlanır.
Sonuç olarak, 2021'de Zhiyuan art arda iki büyük Enlightenment 1.0 ve Enlightenment 2.0 modelini piyasaya sürdü.
Huang Tiejun'a göre, Mart 2021'deki Enlightenment 1.0 basın toplantısında Zhiyuan Research, yapay zekanın "büyük model"den yeni bir "büyük model" aşamasına geçtiğine karar verdi. O zamandan beri "büyük model" kavramı değişti kamuoyunun görüşüne girdi.
Her yıl Zhiyuan Konferansında, AGI'nin zirvesine tırmanmak için kullanılan üç ana teknik yol anlatılacak: büyük modeller, yaşam zekası ve AI4Science. Bu üç yol izole değildir, birbirlerini etkiler ve etkilerler.
Dilsel verilerin kendisi, büyük ölçekli modellerle elde edilen zengin bilgi ve zeka içerir ve sinir ağları, karmaşık verilerin arkasındaki yasaları ifade etmek için kullanılır.
Bu, büyük modelin teknik yollarından birinin AGI'ye yol açabilmesinin makul bir nedenidir.
Bu aynı zamanda Zhiyuan'ın başlangıçta neden büyük modele odaklandığını da açıklıyor. Mart 2021'de Enlightenment 1.0, ardından Haziran'da Enlightenment 2.0 yayınlandı.
Ayrıca Zhiyuan, büyük modele ek olarak AGI'ye giden diğer iki yolu da sürekli olarak araştırıyor, "Life Intelligence" ve "AI4Science".
2022'de Zhiyuan, Caenorhabditis elegans'ın en doğru simülasyonunu yayınladı. Bu kez Zhiyuan, çevrimiçi hizmetler sağlamak için yapay nematod çalışmalarında kullanılan yaşam simülasyonu platformu "eVolution-eVolution"u açtı.
Tianyan, dört önemli özelliğe sahip ultra büyük ölçekli bir ince nöron ağı simülasyon platformudur: ince nöron ağı simülasyonu için en verimli platform, ultra büyük ölçekli sinir ağı simülasyonu desteği, tek elden çevrimiçi modelleme ve simülasyon araç seti sağlar; Yüksek kaliteli görsel etkileşim, gerçek zamanlı simülasyonu ve görsel ortak çalışmayı destekler.
Tianyan platformuna dayalı olarak, biyolojik zekanın yüksek hassasiyetli simülasyonunu gerçekleştirir, zekanın özünü araştırır ve biyolojiden ilham alan genel yapay zekayı destekler. Ayrıca Tianyan ekibi, Tianyan'ı ülkemin yeni nesil exascale süper bilgisayarı olan Tianhe yeni nesil süper bilgisayarına bağladı.
"Tianyan-Tianhe"nin başarılı bir şekilde konuşlandırılması ve işletilmesi sayesinde, fare beyni V1 görsel korteks ince ağı gibi modellerin simülasyonu gerçekleştirilebilir ve hesaplama enerji tüketimi 10 kattan fazla azaltılabilir ve hesaplama hızı 10 kattan fazla artırılarak dünyanın en uç noktasına ulaşılır İnce nöron ağı simülasyonunun performansı, tüm insan beyninin ince simülasyonunun gerçekleştirilmesi için sağlam bir temel oluşturur.
Şimdi, iki yıl sonra Zhiyuan, Enlightenment 3.0 serisi büyük modelleri yeniden piyasaya sürdü.
Konumlandırma açısından, Enlightenment 2.0'ın piyasaya sürülmesinden bu yana, kar amacı gütmeyen bir platform kuruluşu olarak Zhiyuan, yalnızca modeller ve modeller yapmakla kalmıyor, aynı zamanda büyük modellerin çekirdek ekolojisinin inşasına kademeli olarak benzersiz katkılar sağlıyor.
Bunlar arasında, modelin arkasında veri sıralama, model testi, algoritma testi, açık kaynak ve açık kuruluşlar ve kapsamlı bir bilgi işlem gücü platformları düzeni bulunur.
Zhiyuan neden böyle bir değişiklik yaptı?
Çünkü Zhiyuan, büyük modelin kendisinin büyük model çağındaki en önemli ürün biçimi olmadığını, sistematizasyon ve entelektüel hizmetler ile karakterize edilen yeni bir dönem olduğunu derinden anlıyor.
Şu anda, büyük model gelişmeye devam edecek ve değişmeden kalan şey, arkasındaki teknik yineleme, yani modeli eğitmek için kullanılan algoritmadır.
Her gün gördüğünüz en son model, yalnızca sağlamlaştırılmış bir sonuçtur.Önemli olan, modeli eğitmek için kullanılan algoritmanın gelişmiş olup olmadığı, maliyetin etkili bir şekilde azaltılıp azaltılmadığı ve arkasındaki yeteneğin açıklanabilir ve kontrol edilebilir olup olmadığıdır.
Bu nedenle, bir platform organizasyonu olarak Zhiyuan'ın yapması gereken, endüstrinin eğitim modellerinin algoritmalarını yinelemeli bir bütün halinde bir araya getirmektir.
Zhiyuan sadece büyük ölçekli model algoritmasının kendisi üzerinde çalışmakla kalmıyor, aynı zamanda büyük ölçekli modelin teknik sisteminin geliştirilmesi için daha fazla zaman ve enerji harcıyor.
Örneğin Zhiyuan, büyük ölçekli model eğitimi için bilgi işlem gücü, veri ve algoritma desteği sağlamak üzere büyük ölçekli bir bulut bilgi işlem hizmet platformu "Jiuding Akıllı Bilgi İşlem Platformu" başlattı.
Tabii ki, sadece Zhiyuan'ın kendi gücü değil, aynı zamanda endüstri-üniversite-araştırma enstitüleri de işbirliği yapmak ve açık bir şekilde yinelemek.
Bu yılın Mart ayında Zhiyuan, bir dizi endüstri-üniversite-araştırma birimi ile ortaklaşa oluşturulmuş büyük ölçekli modeller için açık kaynaklı ve açık yazılım sistemi olan FlagOpen Feizhi büyük ölçekli model teknolojisi açık kaynak sistemini piyasaya sürdü.
Bu yılki Zhiyuan Konferansı'nın öncekilere göre en büyük özelliği nedir diye sorabilirsiniz.
Stil tutarlı, iki kelimeyle özetleniyor: profesyonel ve saf.
Zhiyuan Konferansı, herhangi bir gerçekçi hedef olmaksızın gerçekleştirildi ve ürünlere ve yatırımcılara dikkat edilmedi.
Burada endüstri liderleri kişisel görüşlerini ileri sürebilir ve profesyonel bir bakış açısıyla yargılarda bulunabilir ve elbette birçok gerçekçi faktörü göz önünde bulundurmak zorunda kalmadan üst düzey görüşlerin çarpışmalarını ve tartışmalarını içerebilir.
"Yapay zekanın vaftiz babası" Geoffrey Hinton, bu yıl ilk kez Zhiyuan Konferansı'na katıldı.Bir süre önce, hayatı boyunca yaptığı işten pişmanlık duyduğu için Google'dan istifa etti. Yapay zeka güvenliği ile ilgili en son görüşleri yayınladı.
Her zaman olduğu gibi, bir "iyimser" olan Yann LeCun, çoğu insan gibi yapay zekanın riskleri konusunda endişelenmeyecek. Ona göre, araba yapılmadan önce fren yapmak mantıksız. Şu anda, geliştirmek için hala çok çalışmamız gerekiyor. daha gelişmiş AI teknolojisi ve algoritmaları.
Aynı zamanda toplantıda şiddetli bir görüş çatışmasını da göreceksiniz. AI Riskini Kontrol Etme Konusunda Max Tegmark. LeCun'a tamamen zıt olduğu söylenemese de arada büyük farklılıklar da bulunuyor.
Bu, Zhiyuan Konferansı'nın en önemli özelliği ve aynı zamanda tutarlı bir tarz.
Bu konumlandırmanın benzersizliği son yıllarda giderek daha önemli hale geldi.
Yapay zekanın gelişimi dünya ve Çin üzerinde giderek artan bir etkiye sahip, bu nedenle ideolojik çarpışmalar ve hararetli tartışmalar da dahil olmak üzere herkesin görüşlerini saf bir şekilde ifade etmek için bir fırsata ihtiyacı var.
Bunun önemi şudur ki, konferanslar ne kadar profesyonel, daha saf, daha tarafsız ve daha açık olursa, böylesine hızlı bir gelişim döneminin etkisini herkesin daha iyi kavramasına o kadar yardımcı olur.
Zhiyuan Konferansı yabancı ülkelerde de mükemmel bir üne sahiptir.Uluslararası kuruluşlar, Zhiyuan Konferansını yapay zeka araştırmalarında Çin ile işbirliği için bir pencere olarak görmektedir.
Zhiyuan isminin kökeni aynı zamanda istihbarat kaynağıdır. Bu nedenle, Zhiyuan Konferansı'nın düzenlenmesi, yapay zekanın ekolojik gelişimini desteklemek için dönüm noktası niteliğinde bir olay haline geldi.
Güçlü konuk kadrosu, konu düzeninin zenginliği ve içerik tartışmalarının derinliği benzersiz bir Zhiyuan Konferansı yaratmıştır.
Yapay zeka uzmanlarına özel bu önemli etkinlik, Çin'de yapay zeka alanında parlak bir kartvizit haline geldi.
Referanslar: