Сем Альтман і Хінтон дебютують у Китаї! Успішно завершився найзапекліший експертний захід зі штучного інтелекту в Китаї, а вітчизняна масштабна модель «Просвітлення 3.0» була повністю відкритою.
【Вступ до Xinzhiyuan】 Цьогорічна конференція Zhiyuan все ще є яскравою та сповненою академічного сенсу. Усі гучні імена обговорювали суперштучний інтелект, і зіткнення ідей спалахнуло. Не можна пропустити гала-концерт весняного фестивалю ШІ!
Щойно щорічна внутрішня гала-конференція Чжіюань "AI Spring Festival Gala" успішно завершилася!
На цій щорічній піковій події штучного інтелекту є знайомі зіркові команди, такі як OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI тощо, є Meta, Google, Microsoft та інші великі виробники, які підкорили світ, і там є Стенфорд, UC Berkeley, MIT та інші провідні університети світу.
Автори важливих робіт, таких як GPT-4, PaLM-E, OPT, LLaMA тощо, були присутні та пояснювали нам результати дослідження. Ця конференція, можна сказати, має і професійну глибину, і творче натхнення, і кожна тема обговорена на висоті.
Кульмінацією конференції, безсумнівно, стали виступи лауреата премії Тюрінга Янна Лекуна, Джеффрі Гінтона та засновника OpenAI Сема Альтмана.
Зовнішній вигляд цих суперважковаговиків можна описати як повний родзинок.
Джеффрі Хінтон: Ризик супер штучного інтелекту є терміновим
У щойно завершеному заключному виступі на форумі Хінтон, лауреат премії Тюрінга та батько глибокого навчання, задумав сценарій, про який варто подумати.
На початку виступу Хінтон запитав: «Чи розумніші штучні нейронні мережі за справжні нейронні мережі?»
Так, на його думку, це може статися незабаром.
Як і деякий час тому, Хінтон звільнився з Google і коротко пояснив причини своєї відставки. Він висловився про те, що шкодує про роботу свого життя та занепокоєння небезпекою штучного інтелекту. Він неодноразово публічно заявляв, що небезпека штучного інтелекту для світу є більш актуальною, ніж зміна клімату.
Подібним чином на конференції Zhiyuan Хінтон знову говорив про ризики ШІ.
Що, якби велика нейронна мережа, що працює на кількох цифрових комп’ютерах, могла б отримувати знання безпосередньо зі світу, на додаток до імітації людської мови для людських знань?
Очевидно, він стане набагато кращим за людей, оскільки спостерігав більше даних.
Ця ідея не є надуманою, якщо ця нейронна мережа може виконувати неконтрольоване моделювання зображень або відео, а її копії також можуть маніпулювати фізичним світом.
У найкрайніших випадках злочинці використовують суперінтелект, щоб маніпулювати виборцями та вигравати війни.
Якщо суперінтелекту дозволено формулювати власні проміжні цілі, одна з яких полягає в отриманні більшої влади, суперінтелект буде маніпулювати людьми, які використовують його для досягнення цієї мети.
Чжан Хунцзян і Сем Альтман Пік Питання та відповіді: AGI може з’явитися протягом десяти років
Сьогодні вранці по відеозв'язку також з'явився Сем Альтман. Це перший випадок, коли Сем Альтман виголосив публічну промову в Китаї після вибуху ChatGPT.
Основні моменти:
– Причина, чому нинішня революція штучного інтелекту настільки вражаюча, полягає не лише в масштабі її впливу, а й у швидкості прогресу. Це приносить як дивіденди, так і ризики.
З появою все більш потужних систем штучного інтелекту зміцнення міжнародного співробітництва та зміцнення глобальної довіри є першочерговим.
– Вирівнювання – це ще відкрите питання. GPT-4 завершив роботу з узгодження за останні 8 місяців, в основному включаючи масштабованість і пояснюваність.
У своїй промові Альтман неодноразово наголошував на необхідності глобального вирівнювання та нагляду за безпекою штучного інтелекту, зокрема процитував речення з «Дао Де Цзин»:
Подорож у тисячу миль починається з одного кроку.
На його думку, штучний інтелект розвивається з вибуховою швидкістю, і суперштучний інтелект може з'явитися в найближчі десять років.
Тому необхідно сприяти безпеці AGI, посилювати міжнародну співпрацю та узгоджувати відповідні дослідження.
Сем Альтман вважає, що співпраця в міжнародному науково-технологічному співтоваристві є першим кроком до конструктивного кроку на даний момент. Зокрема, необхідно вдосконалити механізми прозорості та обміну знаннями для технологічного прогресу в галузі безпеки AGI.
Крім того, Альтман зазначив, що нинішня головна дослідницька мета OpenAI зосереджена на дослідженні узгодження ШІ, тобто як зробити ШІ корисним і безпечним помічником.
Одна з них — це масштабований нагляд, який намагається використовувати системи штучного інтелекту для допомоги людям у нагляді за іншими системами штучного інтелекту. По-друге, це можливість інтерпретації, спроба зрозуміти «чорний ящик» внутрішньої роботи великої моделі.
Зрештою, OpenAI має на меті навчити системи ШІ допомагати в дослідженні вирівнювання.
Після виступу Чжан Хунцзян, голова Науково-дослідного інституту Чжиюань, і Сем Альтман відкрили ефірний діалог, щоб обговорити, як зробити ШІ безпечним вирівнюванням.
На запитання, чи буде OpenAI відкривати великі моделі з відкритим кодом, Альтман сказав, що в майбутньому буде більше відкритих кодів, але конкретної моделі та графіка немає.
Крім того, він також сказав, що GPT-5 найближчим часом не буде.
Після зустрічі Альтман опублікував повідомлення, щоб висловити подяку за запрошення виступити на конференції Чжіюань.
LeCun: все ще шанувальник світової моделі
Інший лауреат премії Тюрінга, ЛеКун, який виступав у перший день, продовжував просувати власну концепцію «моделі світу».
Лекун завжди висловлював зневагу до ідеї, що штучний інтелект знищить людей. Він вважає, що сьогоднішній штучний інтелект не такий розумний, як собака, і що справжній штучний інтелект ще не розроблено. Такі хвилювання зайві.
Він пояснив, що штучний інтелект не може міркувати і планувати, як люди і тварини, частково тому, що поточні системи машинного навчання мають по суті постійні обчислювальні кроки між введенням і виходом.
Як машина може зрозуміти, як влаштований світ, передбачити наслідки дій, як люди, або розбити його на кілька кроків, щоб спланувати складні завдання?
Очевидно, що самоконтрольоване навчання є одним із шляхів. Порівняно з навчанням з підкріпленням, самоконтрольоване навчання може генерувати велику кількість зворотного зв’язку та мати можливість передбачити будь-яку частину його вхідних даних.
ЛеКун сказав, що він визначив, що три основні проблеми штучного інтелекту в найближчі кілька років полягають у тому, щоб вивчити представлення світу, передбачити модель світу та використовувати самоконтрольоване навчання.
Ключем до створення штучного інтелекту людського рівня може бути здатність вивчити «модель світу».
Серед них «модель світу» складається з шести незалежних модулів, зокрема: модуль конфігуратора, модуль сприйняття, модель світу, модуль вартості, модуль актора та модуль короткочасної пам’яті.
Він вважає, що розробка архітектури та парадигми навчання моделі світу є справжньою перешкодою на шляху розвитку штучного інтелекту в найближчі кілька десятиліть.
Коли його запитали, чи буде система штучного інтелекту становити ризик існування для людей, ЛеКун відповів, що у нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною?
Найкраща відповідність "Події експертів зі штучного інтелекту"
Енергійну конференцію Zhiyuan 2023 року можна назвати конференцією найвищого рівня та найбільшою кількістю переглядів у вітчизняній галузі ШІ цього року.
З самого початку свого заснування основні характеристики Zhiyuan Conference дуже чіткі: академічні, професійні, передові.
У мить ока ця щорічна подія для експертів зі штучного інтелекту виповнилася вже п’ятий рік поспіль.
Цього разу Конференція Чжіюань 2023 року продовжує традицію кожної конференції Чжіюань, і відчуття академічної атмосфери все ще переважає.
У 2021 році на третій конференції Чжіюань лауреат премії Тюрінга Йошуа Бенгіо, професор Пекінського університету Е Вейнань і Чжу Мін, декан Національного інституту фінансових досліджень Університету Цінхуа, виступлять з основними доповідями.
У 2022 році двоє лауреатів премії Тюрінга Янн ЛеКун і Аді Шамір, батько закріпленого навчання Річард Саттон, академік США Майкл І. Джордан, лауреат премії Геделя Синтія Дворк та інші важковаговики поділилися.
А до 2023 року це, безсумнівно, буде «найбільш зіркова» сесія.
Є 4 лауреати премії Тюрінга Янн ЛеКун, Джеффрі Хінтон, Джозеф Сіфакіс і Яо Цічжі, а також засновник OpenAI Сем Альтман, лауреат Нобелівської премії Ар’є Варшель, засновник Інституту майбутнього життя Макс Тегмарк і лауреат премії за найвищі досягнення 2022 року Ву Веньцзюнь Академіки Чжен Наннін і академік Чжан Бо з Китайської академії наук брали участь.
Що ще важливіше, після того, як масштабний модельний проект Чжіюаня «Enlightenment» постійно побивав рекорд «перший у Китаї + найбільший у світі», «Enlightenment 3.0» увійшов у новий етап «всеосяжного відкритого коду».
«Просвіта 3.0» — масштабна модельна серія.
Зокрема, це включає серію широкомасштабних моделей мови Aquila, систему оцінки великомасштабної моделі Flag, серію візуальних великомасштабних моделей «Enlightenment · Vision» і мультимодальну серію великомасштабних моделей.
Language Large Model Series
Enlightenment·Aquila: повністю відкрита комерційна ліцензія
По-перше, це модель серії Aquila, яка є першою мовною моделлю з відкритим вихідним кодом із двомовним знанням китайської та англійської, підтримує вимоги щодо відповідності внутрішніх даних і має повністю відкриті комерційні ліцензії.
Це відкрите джерело включає базову модель із 7 мільярдів параметрів і 33 мільярдів параметрів, діалогову модель AquilaChat і модель створення текстового коду AquilaCode.
Адреса відкритого коду Enlightenment Aquila:
Покращена продуктивність
Технічно базова модель Aquila (7B, 33B) технічно успадковує переваги архітектурного дизайну GPT-3, LLaMA тощо, замінює пакет більш ефективних базових реалізацій операторів, переробляє та впроваджує китайсько-англійський двомовний токенізер, паралель BMTrain метод навчання був модернізований, і в процесі навчання Aquila ефективність навчання майже в 8 разів вище, ніж у Magtron+DeepSpeed ZeRO-2.
Зокрема, по-перше, це отримати вигоду від нової техніки для паралельного прискорення тренувальних рамок.
Минулого року Zhiyuan відкрив вихідний код великого модельного алгоритму з відкритим вихідним кодом FlagAI, який інтегрував новий метод паралельного навчання, такий як BMTrain. Під час навчального процесу його обчислення та зв’язок, а також проблеми, що збігаються, додатково оптимізуються.
По-друге, Zhiyuan взяв на себе лідерство у впровадженні технології оптимізації роботи оператора та інтегрував її з методами паралельного прискорення для подальшого прискорення продуктивності.
Вивчення китайської та англійської мов одночасно
Чому випуск Aquila такий обнадійливий?
Тому що багато великих моделей «вивчають лише англійську» — лише на основі великого обсягу навчання англійського корпусу, але Aquila має вивчати і китайську, і англійську.
Можливо, ви самі пережили це: коли людина засвоює знання, це не проблема, якщо ви постійно використовуєте англійську, але якщо ви вивчаєте англійську, а потім вивчаєте китайську, труднощі будуть величезними.
Таким чином, у порівнянні з англомовними моделями, такими як LLaMA та OPT, складність навчання Aquila, яка потребує вивчення китайської та англійської, зросла в рази.
Щоб оптимізувати Aquila для китайських завдань, Zhiyuan включив майже 40% китайського корпусу в свій навчальний корпус. Причина полягає в тому, що Чжиюань сподівається, що Aquila зможе не лише створити китайську мову, але й зрозуміти багато рідних знань китайського світу.
Крім того, Zhiyuan також переробив і впровадив китайсько-англійський двомовний маркер (токенізер), який має краще розпізнавати та підтримувати сегментацію китайських слів.
У процесі навчання та проектування китайських завдань команда Zhiyuan навмисно зважує два виміри якості та ефективності, щоб визначити розмір токенізатора.
Діалогову модель AquilaChat (7B, 33B) побудовано на основі базової моделі Aquila для підтримки плавного текстового діалогу та завдань створення кількох мов.
кілька раундів діалогу
Формування композиції вступного іспиту до коледжу
Крім того, визначаючи розширювані специфікації спеціальних інструкцій, AquilaChat можна використовувати для виклику інших моделей та інструментів, і його легко розширити.
Наприклад, багатомовна модель генерації тексту та зображень AltDiffusion із відкритим вихідним кодом Zhiyuan використовується для реалізації можливостей плавного генерування тексту та зображень. Співпрацюючи з Zhiyuan InstructFace багатоетапною керованою моделлю графа Вінсента, він також може легко реалізувати багатоетапне кероване редагування зображень обличчя.
Генерація тексту
Багатоетапне кероване редагування обличчя
Модель генерації текстового коду AquilaCode-7B, заснована на потужних базових можливостях моделі Aquila-7B, забезпечує високу продуктивність із малим набором даних і невеликою кількістю параметрів. Наразі це найкраща модель з відкритим вихідним кодом, яка підтримує китайську мову. і англійська двомовна продуктивність Після високоякісної фільтрації навчання виконується з використанням даних навчального коду з відповідними ліцензіями з відкритим кодом.
Крім того, AquilaCode-7B завершив навчання моделям коду на Nvidia та вітчизняних чіпах відповідно, і через відкритий код + моделі різних архітектур він сприяє інноваціям чіпів і розквіту сотні квітів.
генерація текстового коду
Більш сумісний і чистий китайський корпус
Порівняно з іноземними моделями з відкритим вихідним кодом, найвідмітнішою особливістю Aquila є те, що вона підтримує внутрішні вимоги щодо відповідності даних.
Іноземні великомасштабні моделі можуть мати певні китайські можливості, але майже всі китайські дані Інтернету, які використовуються іноземними великомасштабними моделями з відкритим кодом, витягуються з наборів даних Інтернету, таких як Common Crawl.
Однак, якщо ми проаналізуємо корпус Common Crawl, ми можемо виявити, що в його 1 мільйоні записів доступно менше 40 000 китайських веб-сторінок, і 83% з них є закордонними веб-сайтами, якість яких, очевидно, не піддається контролю.
Тому Aquila не використовував жодного китайського корпусу в Common Crawl, а використав власний набір даних Wudao Zhiyuan, накопичений за останні три роки. Китайський набір даних Wudao надходить із понад 10 000 веб-сайтів материкового Китаю, тому його китайські дані відповідають вимогам відповідності та є чистішими.
Загалом, цей випуск є лише відправною точкою. Мета Zhiyuan — створити повний набір конвеєрів розвитку великої моделі та ітерації, щоб велика модель продовжувала розвиватися з додаванням більшої кількості даних і можливостей, і вона продовжуватиметься бути з відкритим кодом і відкритим.
Варто відзначити, що Aquila доступна на споживчих відеокартах. Наприклад, модель 7B може працювати на відеопам’яті 16G або навіть менше.
Система оцінки великої моделі бібліотеки (прапор)
Безпечна, надійна, комплексна та об’єктивна система оцінки великомасштабних моделей також дуже важлива для технологічних інновацій і промислового впровадження великомасштабних моделей.
Перш за все, для академічної спільноти, якщо ви хочете просувати інновації великих моделей, ви повинні мати лінійку для вимірювання можливостей і якості великих моделей.
По-друге, для галузі переважна більшість компаній вирішить напряму використовувати наявні великі моделі замість того, щоб розробляти їх з нуля. При відборі необхідна система оцінювання, яка допоможе судити. Зрештою, базові великі моделі власної розробки потребують величезних витрат на обчислювальну потужність. Для розробки моделі з 30 мільярдами параметрів необхідні кошти, включаючи обчислювальну потужність, дані тощо, щонайменше 20 мільйонів.
Крім того, чи можливо побудувати комплексну широкомасштабну систему оцінювання моделі «автоматизоване оцінювання + суб’єктивне оцінювання вручну» та реалізувати автоматичний замкнутий цикл від результатів оцінки до аналізу можливостей моделі, а потім до вдосконалення можливостей моделі. стати важливим аспектом основної широкомасштабної інновації моделі.
Щоб вирішити цю проблему, Науково-дослідний інститут Zhiyuan вирішив надати пріоритет запуску великомасштабної системи оцінки моделей Libra (Flag) і відкритої платформи (flag.baai.ac.cn).
Широкомасштабна система оцінки моделей і відкрита платформа Flag спрямовані на встановлення наукових, чесних і відкритих критеріїв оцінювання, методів і наборів інструментів, щоб допомогти дослідникам у комплексній оцінці ефективності базових моделей і алгоритмів навчання, і в той же час досліджувати використання методів штучного інтелекту для досягнення Допомога суб’єктивного оцінювання значно покращує ефективність та об’єктивність оцінювання.
Зокрема, система оцінювання великомасштабної моделі Flag інноваційно створює тривимірну структуру оцінювання «здатність-завдання-індикатор», яка може детально описати межі когнітивних здібностей базової моделі та візуалізувати результати оцінювання.
Наразі система оцінювання великомасштабної моделі Flag включає загалом понад 600 вимірювань оцінювання, включаючи 22 набори даних оцінки та 84 433 запитання, і поступово інтегрується більше наборів даних оцінювання розмірів.
Крім того, система оцінки великомасштабної моделі Flag продовжуватиме вивчати міждисциплінарні дослідження між оцінкою великомасштабної мовної моделі та соціальними дисциплінами, такими як психологія, освіта та етика, щоб оцінювати великомасштабні мовні моделі більш комплексно та науково. .
30+ здібностей × 5 завдань × 4 категорії показників = 600+ розмірних комплексних оцінок
Велика серія моделей Visual
Що стосується комп’ютерного зору, команда Enlightenment 3.0 створила серію великих моделей «Enlightenment Vision» із загальним сприйняттям сцени та можливостями обробки складних завдань.
Серед них саме технологія SOTA цих 6 спалахів створює основу «Enlightenment·Vision»:
Мультимодальна велика модель «Ему», попередньо навчена велика модель «EVA», візуальна загальна багатозадачна модель «Художник», загальна модель сегментації зору, графічна навчена велика модель «EVA-CLIP» і технологія редагування відео «vid2vid». -нуль".
1. Emu: завершення всього в мультимодальній послідовності
Emu — це велика модель, яка приймає мультимодальні входи та створює мультимодальні виходи. Завдяки багатомодальному контекстному навчальному шляху Emu може навчатися з масивних мультимодальних послідовностей, таких як графічний текст, графічний текст із черезрядковою розгорткою та відеотекст із черезрядковою розгорткою.
Після завершення навчання Emu може завершувати все в контексті мультимодальних послідовностей, сприймати, міркувати та генерувати дані різних модальностей, таких як зображення, тексти та відео, а також завершувати кілька раундів графічно-текстових діалогів і кількох зразків графіки. - розуміння тексту, відеозапитання та відповіді, генерація тексту в зображення, генерація зображення в зображення та інші мультимодальні завдання.
2. EVA: найпотужніша візуальна базова модель на мільярд рівнів
адреса проекту:
Адреса паперу:
EVA поєднує семантичну модель навчання (CLIP) і метод навчання геометричних структур (MIM) і розширює стандартну модель ViT до 1 мільярда параметрів для навчання. Одним махом він досяг найвищої продуктивності на той час у широкому діапазоні завдань візуального сприйняття, таких як класифікація ImageNet, виявлення та сегментація COCO та класифікація відео Kinetics.
3. EVA-CLIP: найпотужніша модель CLIP з відкритим кодом
Адреса проекту: /tree/master/EVA-CLIP
Адреса паперу:
EVA-CLIP, розроблений із базовою візуальною моделлю EVA як ядром, був оновлений до 5 мільярдів параметрів.
Порівняно з попередньою версією OpenCLIP із рівнем точності 80,1%, модель EVA-CLIP має рівень точності 82,0% у ImageNet1K zero-sample top1. З точки зору точності ImageNet kNN, остання модель Meta DINOv2 відповідає 1 мільярду параметрів EVA-CLIP.
4. Painter: перший технологічний шлях «вивчення контекстного зображення»
адреса проекту:
Адреса паперу:
Основна ідея загальної візуальної моделі. Моделювання Painter — «орієнтоване на бачення», використання зображень як вхідних і вихідних даних для отримання контекстної візуальної інформації для виконання різних візуальних завдань.
5. Модель універсальної сегментації Horizons: All-in-One, Split Everything
Універсальна модель сегментації horizon має потужну здатність обґрунтовувати візуальний контекст, і їй потрібно лише одне або кілька прикладів зображень і візуальних підказок, і модель зможе зрозуміти наміри користувача та виконати подібні завдання сегментації.
Простіше кажучи, користувачі позначають і розпізнають клас об’єктів на екрані, і вони можуть ідентифікувати та сегментувати схожі об’єкти в пакетах, чи то на поточному екрані, чи на інших екранах чи відеосередовищах.
6. vid2vid-zero: перша в галузі технологія редагування відео з нульовою вибіркою
адреса проекту:
Папір посилання:
Демо-сайт:
Технологія редагування відео з нульовою вибіркою «vid2vid-zero» вперше використовує динамічні характеристики механізму уваги в поєднанні з існуючою моделлю дифузії зображення, щоб створити структуру моделі для редагування відео без додаткового попереднього навчання відео. Тепер просто завантажте відео, а потім введіть рядок текстових підказок, ви зможете редагувати відео за допомогою вказаних атрибутів.
Просвітитель великомасштабних модельних досліджень Китаю
Науково-дослідний інститут Zhiyuan, заснований у листопаді 2018 року, є піонером широкомасштабних досліджень моделей у Китаї. Після п’яти років розвитку він став еталоном для масштабних досліджень моделей у Китаї.
Що відрізняє його від інших установ, так це те, що Науково-дослідний інститут Чжиюань є платформою. На початку свого заснування Науково-дослідний інститут Zhiyuan взяв створення інноваційної екосистеми штучного інтелекту як одну зі своїх основних місій і завдань.
Як Zhiyuan сприяв розвитку широкомасштабних модельних досліджень у Китаї з моменту свого створення?
Насправді створення Науково-дослідного інституту Чжиюань відбулося якраз на момент появи іноземних великомасштабних моделей.
Говорячи про це, основний напрямок досліджень OpenAI, заснованих у 2015 році, полягає в дослідженні шляху до AGI, і це не велика модель.
Після 2018 року OpenAI почав зосереджуватися на великих моделях і в червні випустив GPT зі 117 мільйонами параметрів. У тому ж році Google також випустив масштабну попередньо навчену мовну модель BERT із 300 мільйонами параметрів.
Усі помітили, що в 2018 році головною галузевою та технологічною тенденцією є створення більшої моделі.
У міру збільшення обчислювальної потужності, яка використовується моделлю, закон Мура стає так званим «законом моделі», тобто обчислювальна потужність, яка використовується для навчання великої моделі, подвоюється за 3-4 місяці.
Також у 2018 році було створено Науково-дослідний інститут Чжиюань, який взяв на себе ініціативу в об’єднанні провідних вчених у галузі ШІ та розпочав дослідження великих моделей.
У результаті в 2021 році Zhiyuan послідовно випустила дві великі моделі Enlightenment 1.0 і Enlightenment 2.0.
За словами Хуан Тіцзюня, на прес-конференції Enlightenment 1.0 у березні 2021 року Zhiyuan Research дійшов висновку, що штучний інтелект змінився з «великої моделі» на новий етап «великої моделі». З того часу концепція «великої моделі» змінилася увійшли в загальне бачення.
Щороку на конференції Zhiyuan згадуються три основні технічні шляхи досягнення вершини AGI: великі моделі, життєвий інтелект і AI4Science. Ці три маршрути не ізольовані, вони взаємодіють і впливають один на одного.
Сьогодні головною причиною нових можливостей великих моделей є масив даних, що стоїть за ними.
Самі лінгвістичні дані містять багаті знання та інтелект, які витягуються за допомогою великомасштабних моделей, а нейронні мережі використовуються для вираження законів, що стоять за складними даними.
Це розумна причина, чому один із технічних шляхів великої моделі може привести до AGI.
Це також пояснює, чому Zhiyuan спочатку зосередився на великій моделі. У березні 2021 року було випущено Enlightenment 1.0, а в червні – Enlightenment 2.0.
Крім того, на додаток до великої моделі, Zhiyuan також постійно вивчає дві інші дороги, що ведуть до AGI, «Life Intelligence» та «AI4Science».
У 2022 році Zhiyuan випустив найточнішу симуляцію Caenorhabditis elegans. Цього разу Чжиюань відкрив платформу симуляції життя «eVolution-eVolution», яка використовується у вивченні штучних нематод для надання онлайн-сервісів.
Tianyan — це надвеликомасштабна симуляційна платформа для точної нейронної мережі з чотирма визначними функціями: найефективніша платформа для точного моделювання нейронної мережі, підтримка надвеликомасштабного моделювання нейронної мережі, забезпечення єдиного онлайн-моделювання та набору інструментів моделювання; Високоякісна візуальна взаємодія підтримує симуляцію в реальному часі та візуальну спільну роботу.
Заснований на платформі Tianyan, він реалізує високоточне моделювання біологічного інтелекту, досліджує суть інтелекту та просуває загальний штучний інтелект, натхненний біологією. Крім того, команда Tianyan підключила Tianyan до нового покоління ексамасштабного суперкомп’ютера моєї країни – суперкомп’ютера нового покоління Tianhe.
Завдяки успішному розгортанню та експлуатації "Tianyan-Tianhe" може бути реалізована симуляція моделі тонкої мережі візуальної кори головного мозку V1 миші та інші моделі, а споживання енергії для обчислення може бути зменшено більш ніж у 10 разів, а швидкість обчислення може можна збільшити більш ніж у 10 разів, досягнувши найбільшого рівня в світі. Ефективність точного моделювання нейронної мережі закладає міцну основу для реалізації точного моделювання всього людського мозку.
Тепер, через два роки, Zhiyuan знову випустив серію великих моделей Enlightenment 3.0.
З точки зору позиціонування, з моменту випуску Enlightenment 2.0 Zhiyuan, як некомерційна платформна організація, не тільки створює моделі та моделі, але й поступово робить унікальний внесок у побудову основної екології великих моделей.
Серед них – сортування даних за моделлю, тестування моделі, тестування алгоритму, відкритий вихідний код і відкриті організації, а також комплексний макет платформ обчислювальної потужності.
Чому Чжиюань зробив таку зміну?
Тому що Zhiyuan глибоко розуміє, що велика модель сама по собі не є найважливішою формою продукту в епоху великої моделі, а нова ера, яка характеризується систематизацією та інтелектуальними послугами.
Наразі велика модель продовжить розвиватися, і те, що залишається незмінним, так це технічна ітерація, що стоїть за нею, тобто алгоритм навчання моделі.
Найновіша модель, яку ви бачите щодня, — це лише підтверджений результат. Важливо, чи вдосконалений алгоритм навчання моделі, чи ефективно зменшено вартість і чи можна пояснити та контролювати можливості, що стоять за цим.
Таким чином, Zhiyuan, будучи платформною організацією, має об’єднати алгоритми галузевих моделей навчання в ітераційне ціле.
Ця робота необхідна.Чжіюань не тільки працює над самим алгоритмом великомасштабної моделі, а й витрачає більше часу та енергії на розробку технічної системи великомасштабної моделі.
Наприклад, Zhiyuan запустив масштабну платформу хмарних обчислень «Jiuding Smart Computing Platform», щоб забезпечити обчислювальну потужність, дані та підтримку алгоритмів для навчання великомасштабних моделей.
Звичайно, це не тільки власна сила Zhiyuan, але й галузеві, університетські та науково-дослідні інститути, щоб співпрацювати та повторювати у відкритий спосіб.
У березні цього року Zhiyuan випустив технологію великомасштабної моделі FlagOpen Feizhi з відкритим вихідним кодом, яка є системою відкритого програмного забезпечення з відкритим кодом для великомасштабних моделей, створеної спільно з кількома галузевими та університетськими дослідницькими підрозділами.
Як сказав Дін Хуан Тіцзюнь: «Ми сподіваємося, що тепер, коли велика модель стала провідною силою в розвитку індустрії штучного інтелекту, ми будемо виконувати більше допоміжної роботи в майбутньому та внесемо унікальну силу в цю епоху».
Ви можете запитати, що є найбільшою особливістю цьогорічної конференції Zhiyuan порівняно з попередніми?
Стиль послідовний, підсумований двома словами: професійний і чистий.
Конференція Zhiyuan проходила без будь-яких реалістичних цілей і не приділяла уваги продуктам та інвесторам.
Тут лідери галузі можуть висловлювати особисті думки та робити судження з професійної точки зору, і, звичайно, включати зіткнення та дебати найкращих думок, не беручи до уваги багато реалістичних факторів.
Цього року в Zhiyuan Conference вперше взяв участь «хрещений батько штучного інтелекту» Джеффрі Хінтон, який деякий час тому звільнився з Google, оскільки пошкодував про справу свого життя. Він опублікував останні погляди на безпеку штучного інтелекту.
Як завжди, "оптиміст" Янн ЛеКун не буде турбуватися про ризики штучного інтелекту, як більшість людей. На його думку, нерозумно гальмувати до того, як автомобіль буде побудований. Зараз слід докласти зусиль для розробки більш просунутих технологій ШІ. і алгоритми.
Водночас на зустрічі ви також побачите жорстке протистояння поглядів. Макс Тегмарк про контроль ризиків ШІ. Хоча його не можна назвати повною протилежністю LeCun, є також значні відмінності.
Це найбільша родзинка конференції Чжіюань, і це також послідовний стиль.
Останніми роками унікальність цього позиціонування стає все більш важливою.
Розвиток штучного інтелекту все більше впливає на світ і Китай, тому кожному потрібен привід висловити свою точку зору в чистому вигляді, включно з ідеологічними колізіями та гарячими дебатами.
Важливість цього полягає в тому, що чим професійнішими, чистішими, нейтральнішими та відкритішими є конференції, тим сприятливіше для всіх краще зрозуміти таку епоху швидкого розвитку.
За кордоном Чжіюаньська конференція також має відмінну репутацію.Міжнародні організації розглядають Чжіюаньську конференцію як вікно для співпраці з Китаєм у дослідженнях штучного інтелекту.
Походження назви Чжиюань також є джерелом розвідки. Тому проведення Zhiyuan Conference стало знаковою подією для сприяння екологічному розвитку штучного інтелекту.
Сильний склад гостей, багатство тем і глибина змісту дискусій створили унікальну конференцію Zhiyuan.
Ця ексклюзивна ексклюзивна ексклюзивна топова подія для експертів зі штучного інтелекту стала яскравою візитною карткою у сфері штучного інтелекту в Китаї.
Посилання:
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Сем Альтман і Хінтон дебютують у Китаї! Успішно завершився найзапекліший експертний захід зі штучного інтелекту в Китаї, а вітчизняна масштабна модель «Просвітлення 3.0» була повністю відкритою.
**Джерело:**Xinzhiyuan
Щойно щорічна внутрішня гала-конференція Чжіюань "AI Spring Festival Gala" успішно завершилася!
На цій щорічній піковій події штучного інтелекту є знайомі зіркові команди, такі як OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI тощо, є Meta, Google, Microsoft та інші великі виробники, які підкорили світ, і там є Стенфорд, UC Berkeley, MIT та інші провідні університети світу.
Автори важливих робіт, таких як GPT-4, PaLM-E, OPT, LLaMA тощо, були присутні та пояснювали нам результати дослідження. Ця конференція, можна сказати, має і професійну глибину, і творче натхнення, і кожна тема обговорена на висоті.
Кульмінацією конференції, безсумнівно, стали виступи лауреата премії Тюрінга Янна Лекуна, Джеффрі Гінтона та засновника OpenAI Сема Альтмана.
Джеффрі Хінтон: Ризик супер штучного інтелекту є терміновим
У щойно завершеному заключному виступі на форумі Хінтон, лауреат премії Тюрінга та батько глибокого навчання, задумав сценарій, про який варто подумати.
Так, на його думку, це може статися незабаром.
Як і деякий час тому, Хінтон звільнився з Google і коротко пояснив причини своєї відставки. Він висловився про те, що шкодує про роботу свого життя та занепокоєння небезпекою штучного інтелекту. Він неодноразово публічно заявляв, що небезпека штучного інтелекту для світу є більш актуальною, ніж зміна клімату.
Подібним чином на конференції Zhiyuan Хінтон знову говорив про ризики ШІ.
Що, якби велика нейронна мережа, що працює на кількох цифрових комп’ютерах, могла б отримувати знання безпосередньо зі світу, на додаток до імітації людської мови для людських знань?
Ця ідея не є надуманою, якщо ця нейронна мережа може виконувати неконтрольоване моделювання зображень або відео, а її копії також можуть маніпулювати фізичним світом.
Якщо суперінтелекту дозволено формулювати власні проміжні цілі, одна з яких полягає в отриманні більшої влади, суперінтелект буде маніпулювати людьми, які використовують його для досягнення цієї мети.
Чжан Хунцзян і Сем Альтман Пік Питання та відповіді: AGI може з’явитися протягом десяти років
Сьогодні вранці по відеозв'язку також з'явився Сем Альтман. Це перший випадок, коли Сем Альтман виголосив публічну промову в Китаї після вибуху ChatGPT.
– Причина, чому нинішня революція штучного інтелекту настільки вражаюча, полягає не лише в масштабі її впливу, а й у швидкості прогресу. Це приносить як дивіденди, так і ризики.
– Вирівнювання – це ще відкрите питання. GPT-4 завершив роботу з узгодження за останні 8 місяців, в основному включаючи масштабованість і пояснюваність.
У своїй промові Альтман неодноразово наголошував на необхідності глобального вирівнювання та нагляду за безпекою штучного інтелекту, зокрема процитував речення з «Дао Де Цзин»:
На його думку, штучний інтелект розвивається з вибуховою швидкістю, і суперштучний інтелект може з'явитися в найближчі десять років.
Тому необхідно сприяти безпеці AGI, посилювати міжнародну співпрацю та узгоджувати відповідні дослідження.
Сем Альтман вважає, що співпраця в міжнародному науково-технологічному співтоваристві є першим кроком до конструктивного кроку на даний момент. Зокрема, необхідно вдосконалити механізми прозорості та обміну знаннями для технологічного прогресу в галузі безпеки AGI.
Крім того, Альтман зазначив, що нинішня головна дослідницька мета OpenAI зосереджена на дослідженні узгодження ШІ, тобто як зробити ШІ корисним і безпечним помічником.
Зрештою, OpenAI має на меті навчити системи ШІ допомагати в дослідженні вирівнювання.
Після виступу Чжан Хунцзян, голова Науково-дослідного інституту Чжиюань, і Сем Альтман відкрили ефірний діалог, щоб обговорити, як зробити ШІ безпечним вирівнюванням.
Крім того, він також сказав, що GPT-5 найближчим часом не буде.
Після зустрічі Альтман опублікував повідомлення, щоб висловити подяку за запрошення виступити на конференції Чжіюань.
LeCun: все ще шанувальник світової моделі
Інший лауреат премії Тюрінга, ЛеКун, який виступав у перший день, продовжував просувати власну концепцію «моделі світу».
Він пояснив, що штучний інтелект не може міркувати і планувати, як люди і тварини, частково тому, що поточні системи машинного навчання мають по суті постійні обчислювальні кроки між введенням і виходом.
Як машина може зрозуміти, як влаштований світ, передбачити наслідки дій, як люди, або розбити його на кілька кроків, щоб спланувати складні завдання?
ЛеКун сказав, що він визначив, що три основні проблеми штучного інтелекту в найближчі кілька років полягають у тому, щоб вивчити представлення світу, передбачити модель світу та використовувати самоконтрольоване навчання.
Ключем до створення штучного інтелекту людського рівня може бути здатність вивчити «модель світу».
Серед них «модель світу» складається з шести незалежних модулів, зокрема: модуль конфігуратора, модуль сприйняття, модель світу, модуль вартості, модуль актора та модуль короткочасної пам’яті.
Коли його запитали, чи буде система штучного інтелекту становити ризик існування для людей, ЛеКун відповів, що у нас ще немає суперштучного інтелекту, тож як ми можемо зробити суперсистему штучного інтелекту безпечною?
Найкраща відповідність "Події експертів зі штучного інтелекту"
Енергійну конференцію Zhiyuan 2023 року можна назвати конференцією найвищого рівня та найбільшою кількістю переглядів у вітчизняній галузі ШІ цього року.
З самого початку свого заснування основні характеристики Zhiyuan Conference дуже чіткі: академічні, професійні, передові.
У мить ока ця щорічна подія для експертів зі штучного інтелекту виповнилася вже п’ятий рік поспіль.
Цього разу Конференція Чжіюань 2023 року продовжує традицію кожної конференції Чжіюань, і відчуття академічної атмосфери все ще переважає.
У 2022 році двоє лауреатів премії Тюрінга Янн ЛеКун і Аді Шамір, батько закріпленого навчання Річард Саттон, академік США Майкл І. Джордан, лауреат премії Геделя Синтія Дворк та інші важковаговики поділилися.
А до 2023 року це, безсумнівно, буде «найбільш зіркова» сесія.
Є 4 лауреати премії Тюрінга Янн ЛеКун, Джеффрі Хінтон, Джозеф Сіфакіс і Яо Цічжі, а також засновник OpenAI Сем Альтман, лауреат Нобелівської премії Ар’є Варшель, засновник Інституту майбутнього життя Макс Тегмарк і лауреат премії за найвищі досягнення 2022 року Ву Веньцзюнь Академіки Чжен Наннін і академік Чжан Бо з Китайської академії наук брали участь.
«Просвіта 3.0» — масштабна модельна серія.
Зокрема, це включає серію широкомасштабних моделей мови Aquila, систему оцінки великомасштабної моделі Flag, серію візуальних великомасштабних моделей «Enlightenment · Vision» і мультимодальну серію великомасштабних моделей.
Language Large Model Series
Enlightenment·Aquila: повністю відкрита комерційна ліцензія
По-перше, це модель серії Aquila, яка є першою мовною моделлю з відкритим вихідним кодом із двомовним знанням китайської та англійської, підтримує вимоги щодо відповідності внутрішніх даних і має повністю відкриті комерційні ліцензії.
Це відкрите джерело включає базову модель із 7 мільярдів параметрів і 33 мільярдів параметрів, діалогову модель AquilaChat і модель створення текстового коду AquilaCode.
Покращена продуктивність
Технічно базова модель Aquila (7B, 33B) технічно успадковує переваги архітектурного дизайну GPT-3, LLaMA тощо, замінює пакет більш ефективних базових реалізацій операторів, переробляє та впроваджує китайсько-англійський двомовний токенізер, паралель BMTrain метод навчання був модернізований, і в процесі навчання Aquila ефективність навчання майже в 8 разів вище, ніж у Magtron+DeepSpeed ZeRO-2.
Зокрема, по-перше, це отримати вигоду від нової техніки для паралельного прискорення тренувальних рамок.
Минулого року Zhiyuan відкрив вихідний код великого модельного алгоритму з відкритим вихідним кодом FlagAI, який інтегрував новий метод паралельного навчання, такий як BMTrain. Під час навчального процесу його обчислення та зв’язок, а також проблеми, що збігаються, додатково оптимізуються.
По-друге, Zhiyuan взяв на себе лідерство у впровадженні технології оптимізації роботи оператора та інтегрував її з методами паралельного прискорення для подальшого прискорення продуктивності.
Вивчення китайської та англійської мов одночасно
Чому випуск Aquila такий обнадійливий?
Тому що багато великих моделей «вивчають лише англійську» — лише на основі великого обсягу навчання англійського корпусу, але Aquila має вивчати і китайську, і англійську.
Можливо, ви самі пережили це: коли людина засвоює знання, це не проблема, якщо ви постійно використовуєте англійську, але якщо ви вивчаєте англійську, а потім вивчаєте китайську, труднощі будуть величезними.
Таким чином, у порівнянні з англомовними моделями, такими як LLaMA та OPT, складність навчання Aquila, яка потребує вивчення китайської та англійської, зросла в рази.
Щоб оптимізувати Aquila для китайських завдань, Zhiyuan включив майже 40% китайського корпусу в свій навчальний корпус. Причина полягає в тому, що Чжиюань сподівається, що Aquila зможе не лише створити китайську мову, але й зрозуміти багато рідних знань китайського світу.
Крім того, Zhiyuan також переробив і впровадив китайсько-англійський двомовний маркер (токенізер), який має краще розпізнавати та підтримувати сегментацію китайських слів.
У процесі навчання та проектування китайських завдань команда Zhiyuan навмисно зважує два виміри якості та ефективності, щоб визначити розмір токенізатора.
Діалогову модель AquilaChat (7B, 33B) побудовано на основі базової моделі Aquila для підтримки плавного текстового діалогу та завдань створення кількох мов.
Крім того, визначаючи розширювані специфікації спеціальних інструкцій, AquilaChat можна використовувати для виклику інших моделей та інструментів, і його легко розширити.
Наприклад, багатомовна модель генерації тексту та зображень AltDiffusion із відкритим вихідним кодом Zhiyuan використовується для реалізації можливостей плавного генерування тексту та зображень. Співпрацюючи з Zhiyuan InstructFace багатоетапною керованою моделлю графа Вінсента, він також може легко реалізувати багатоетапне кероване редагування зображень обличчя.
Модель генерації текстового коду AquilaCode-7B, заснована на потужних базових можливостях моделі Aquila-7B, забезпечує високу продуктивність із малим набором даних і невеликою кількістю параметрів. Наразі це найкраща модель з відкритим вихідним кодом, яка підтримує китайську мову. і англійська двомовна продуктивність Після високоякісної фільтрації навчання виконується з використанням даних навчального коду з відповідними ліцензіями з відкритим кодом.
Більш сумісний і чистий китайський корпус
Порівняно з іноземними моделями з відкритим вихідним кодом, найвідмітнішою особливістю Aquila є те, що вона підтримує внутрішні вимоги щодо відповідності даних.
Іноземні великомасштабні моделі можуть мати певні китайські можливості, але майже всі китайські дані Інтернету, які використовуються іноземними великомасштабними моделями з відкритим кодом, витягуються з наборів даних Інтернету, таких як Common Crawl.
Однак, якщо ми проаналізуємо корпус Common Crawl, ми можемо виявити, що в його 1 мільйоні записів доступно менше 40 000 китайських веб-сторінок, і 83% з них є закордонними веб-сайтами, якість яких, очевидно, не піддається контролю.
Тому Aquila не використовував жодного китайського корпусу в Common Crawl, а використав власний набір даних Wudao Zhiyuan, накопичений за останні три роки. Китайський набір даних Wudao надходить із понад 10 000 веб-сайтів материкового Китаю, тому його китайські дані відповідають вимогам відповідності та є чистішими.
Загалом, цей випуск є лише відправною точкою. Мета Zhiyuan — створити повний набір конвеєрів розвитку великої моделі та ітерації, щоб велика модель продовжувала розвиватися з додаванням більшої кількості даних і можливостей, і вона продовжуватиметься бути з відкритим кодом і відкритим.
Варто відзначити, що Aquila доступна на споживчих відеокартах. Наприклад, модель 7B може працювати на відеопам’яті 16G або навіть менше.
Система оцінки великої моделі бібліотеки (прапор)
Безпечна, надійна, комплексна та об’єктивна система оцінки великомасштабних моделей також дуже важлива для технологічних інновацій і промислового впровадження великомасштабних моделей.
Перш за все, для академічної спільноти, якщо ви хочете просувати інновації великих моделей, ви повинні мати лінійку для вимірювання можливостей і якості великих моделей.
По-друге, для галузі переважна більшість компаній вирішить напряму використовувати наявні великі моделі замість того, щоб розробляти їх з нуля. При відборі необхідна система оцінювання, яка допоможе судити. Зрештою, базові великі моделі власної розробки потребують величезних витрат на обчислювальну потужність. Для розробки моделі з 30 мільярдами параметрів необхідні кошти, включаючи обчислювальну потужність, дані тощо, щонайменше 20 мільйонів.
Крім того, чи можливо побудувати комплексну широкомасштабну систему оцінювання моделі «автоматизоване оцінювання + суб’єктивне оцінювання вручну» та реалізувати автоматичний замкнутий цикл від результатів оцінки до аналізу можливостей моделі, а потім до вдосконалення можливостей моделі. стати важливим аспектом основної широкомасштабної інновації моделі.
Щоб вирішити цю проблему, Науково-дослідний інститут Zhiyuan вирішив надати пріоритет запуску великомасштабної системи оцінки моделей Libra (Flag) і відкритої платформи (flag.baai.ac.cn).
Зокрема, система оцінювання великомасштабної моделі Flag інноваційно створює тривимірну структуру оцінювання «здатність-завдання-індикатор», яка може детально описати межі когнітивних здібностей базової моделі та візуалізувати результати оцінювання.
Наразі система оцінювання великомасштабної моделі Flag включає загалом понад 600 вимірювань оцінювання, включаючи 22 набори даних оцінки та 84 433 запитання, і поступово інтегрується більше наборів даних оцінювання розмірів.
Крім того, система оцінки великомасштабної моделі Flag продовжуватиме вивчати міждисциплінарні дослідження між оцінкою великомасштабної мовної моделі та соціальними дисциплінами, такими як психологія, освіта та етика, щоб оцінювати великомасштабні мовні моделі більш комплексно та науково. .
Велика серія моделей Visual
Що стосується комп’ютерного зору, команда Enlightenment 3.0 створила серію великих моделей «Enlightenment Vision» із загальним сприйняттям сцени та можливостями обробки складних завдань.
Серед них саме технологія SOTA цих 6 спалахів створює основу «Enlightenment·Vision»:
Мультимодальна велика модель «Ему», попередньо навчена велика модель «EVA», візуальна загальна багатозадачна модель «Художник», загальна модель сегментації зору, графічна навчена велика модель «EVA-CLIP» і технологія редагування відео «vid2vid». -нуль".
1. Emu: завершення всього в мультимодальній послідовності
Після завершення навчання Emu може завершувати все в контексті мультимодальних послідовностей, сприймати, міркувати та генерувати дані різних модальностей, таких як зображення, тексти та відео, а також завершувати кілька раундів графічно-текстових діалогів і кількох зразків графіки. - розуміння тексту, відеозапитання та відповіді, генерація тексту в зображення, генерація зображення в зображення та інші мультимодальні завдання.
2. EVA: найпотужніша візуальна базова модель на мільярд рівнів
Адреса паперу:
EVA поєднує семантичну модель навчання (CLIP) і метод навчання геометричних структур (MIM) і розширює стандартну модель ViT до 1 мільярда параметрів для навчання. Одним махом він досяг найвищої продуктивності на той час у широкому діапазоні завдань візуального сприйняття, таких як класифікація ImageNet, виявлення та сегментація COCO та класифікація відео Kinetics.
3. EVA-CLIP: найпотужніша модель CLIP з відкритим кодом
Адреса паперу:
EVA-CLIP, розроблений із базовою візуальною моделлю EVA як ядром, був оновлений до 5 мільярдів параметрів.
Порівняно з попередньою версією OpenCLIP із рівнем точності 80,1%, модель EVA-CLIP має рівень точності 82,0% у ImageNet1K zero-sample top1. З точки зору точності ImageNet kNN, остання модель Meta DINOv2 відповідає 1 мільярду параметрів EVA-CLIP.
4. Painter: перший технологічний шлях «вивчення контекстного зображення»
Адреса паперу:
Основна ідея загальної візуальної моделі. Моделювання Painter — «орієнтоване на бачення», використання зображень як вхідних і вихідних даних для отримання контекстної візуальної інформації для виконання різних візуальних завдань.
5. Модель універсальної сегментації Horizons: All-in-One, Split Everything
Простіше кажучи, користувачі позначають і розпізнають клас об’єктів на екрані, і вони можуть ідентифікувати та сегментувати схожі об’єкти в пакетах, чи то на поточному екрані, чи на інших екранах чи відеосередовищах.
6. vid2vid-zero: перша в галузі технологія редагування відео з нульовою вибіркою
Папір посилання:
Демо-сайт:
Технологія редагування відео з нульовою вибіркою «vid2vid-zero» вперше використовує динамічні характеристики механізму уваги в поєднанні з існуючою моделлю дифузії зображення, щоб створити структуру моделі для редагування відео без додаткового попереднього навчання відео. Тепер просто завантажте відео, а потім введіть рядок текстових підказок, ви зможете редагувати відео за допомогою вказаних атрибутів.
Просвітитель великомасштабних модельних досліджень Китаю
Науково-дослідний інститут Zhiyuan, заснований у листопаді 2018 року, є піонером широкомасштабних досліджень моделей у Китаї. Після п’яти років розвитку він став еталоном для масштабних досліджень моделей у Китаї.
Що відрізняє його від інших установ, так це те, що Науково-дослідний інститут Чжиюань є платформою. На початку свого заснування Науково-дослідний інститут Zhiyuan взяв створення інноваційної екосистеми штучного інтелекту як одну зі своїх основних місій і завдань.
Як Zhiyuan сприяв розвитку широкомасштабних модельних досліджень у Китаї з моменту свого створення?
Говорячи про це, основний напрямок досліджень OpenAI, заснованих у 2015 році, полягає в дослідженні шляху до AGI, і це не велика модель.
Після 2018 року OpenAI почав зосереджуватися на великих моделях і в червні випустив GPT зі 117 мільйонами параметрів. У тому ж році Google також випустив масштабну попередньо навчену мовну модель BERT із 300 мільйонами параметрів.
Усі помітили, що в 2018 році головною галузевою та технологічною тенденцією є створення більшої моделі.
У міру збільшення обчислювальної потужності, яка використовується моделлю, закон Мура стає так званим «законом моделі», тобто обчислювальна потужність, яка використовується для навчання великої моделі, подвоюється за 3-4 місяці.
У результаті в 2021 році Zhiyuan послідовно випустила дві великі моделі Enlightenment 1.0 і Enlightenment 2.0.
За словами Хуан Тіцзюня, на прес-конференції Enlightenment 1.0 у березні 2021 року Zhiyuan Research дійшов висновку, що штучний інтелект змінився з «великої моделі» на новий етап «великої моделі». З того часу концепція «великої моделі» змінилася увійшли в загальне бачення.
Щороку на конференції Zhiyuan згадуються три основні технічні шляхи досягнення вершини AGI: великі моделі, життєвий інтелект і AI4Science. Ці три маршрути не ізольовані, вони взаємодіють і впливають один на одного.
Самі лінгвістичні дані містять багаті знання та інтелект, які витягуються за допомогою великомасштабних моделей, а нейронні мережі використовуються для вираження законів, що стоять за складними даними.
Це розумна причина, чому один із технічних шляхів великої моделі може привести до AGI.
Це також пояснює, чому Zhiyuan спочатку зосередився на великій моделі. У березні 2021 року було випущено Enlightenment 1.0, а в червні – Enlightenment 2.0.
Крім того, на додаток до великої моделі, Zhiyuan також постійно вивчає дві інші дороги, що ведуть до AGI, «Life Intelligence» та «AI4Science».
У 2022 році Zhiyuan випустив найточнішу симуляцію Caenorhabditis elegans. Цього разу Чжиюань відкрив платформу симуляції життя «eVolution-eVolution», яка використовується у вивченні штучних нематод для надання онлайн-сервісів.
Tianyan — це надвеликомасштабна симуляційна платформа для точної нейронної мережі з чотирма визначними функціями: найефективніша платформа для точного моделювання нейронної мережі, підтримка надвеликомасштабного моделювання нейронної мережі, забезпечення єдиного онлайн-моделювання та набору інструментів моделювання; Високоякісна візуальна взаємодія підтримує симуляцію в реальному часі та візуальну спільну роботу.
Заснований на платформі Tianyan, він реалізує високоточне моделювання біологічного інтелекту, досліджує суть інтелекту та просуває загальний штучний інтелект, натхненний біологією. Крім того, команда Tianyan підключила Tianyan до нового покоління ексамасштабного суперкомп’ютера моєї країни – суперкомп’ютера нового покоління Tianhe.
Завдяки успішному розгортанню та експлуатації "Tianyan-Tianhe" може бути реалізована симуляція моделі тонкої мережі візуальної кори головного мозку V1 миші та інші моделі, а споживання енергії для обчислення може бути зменшено більш ніж у 10 разів, а швидкість обчислення може можна збільшити більш ніж у 10 разів, досягнувши найбільшого рівня в світі. Ефективність точного моделювання нейронної мережі закладає міцну основу для реалізації точного моделювання всього людського мозку.
Тепер, через два роки, Zhiyuan знову випустив серію великих моделей Enlightenment 3.0.
З точки зору позиціонування, з моменту випуску Enlightenment 2.0 Zhiyuan, як некомерційна платформна організація, не тільки створює моделі та моделі, але й поступово робить унікальний внесок у побудову основної екології великих моделей.
Серед них – сортування даних за моделлю, тестування моделі, тестування алгоритму, відкритий вихідний код і відкриті організації, а також комплексний макет платформ обчислювальної потужності.
Чому Чжиюань зробив таку зміну?
Тому що Zhiyuan глибоко розуміє, що велика модель сама по собі не є найважливішою формою продукту в епоху великої моделі, а нова ера, яка характеризується систематизацією та інтелектуальними послугами.
Наразі велика модель продовжить розвиватися, і те, що залишається незмінним, так це технічна ітерація, що стоїть за нею, тобто алгоритм навчання моделі.
Найновіша модель, яку ви бачите щодня, — це лише підтверджений результат. Важливо, чи вдосконалений алгоритм навчання моделі, чи ефективно зменшено вартість і чи можна пояснити та контролювати можливості, що стоять за цим.
Таким чином, Zhiyuan, будучи платформною організацією, має об’єднати алгоритми галузевих моделей навчання в ітераційне ціле.
Ця робота необхідна.Чжіюань не тільки працює над самим алгоритмом великомасштабної моделі, а й витрачає більше часу та енергії на розробку технічної системи великомасштабної моделі.
Наприклад, Zhiyuan запустив масштабну платформу хмарних обчислень «Jiuding Smart Computing Platform», щоб забезпечити обчислювальну потужність, дані та підтримку алгоритмів для навчання великомасштабних моделей.
Звичайно, це не тільки власна сила Zhiyuan, але й галузеві, університетські та науково-дослідні інститути, щоб співпрацювати та повторювати у відкритий спосіб.
У березні цього року Zhiyuan випустив технологію великомасштабної моделі FlagOpen Feizhi з відкритим вихідним кодом, яка є системою відкритого програмного забезпечення з відкритим кодом для великомасштабних моделей, створеної спільно з кількома галузевими та університетськими дослідницькими підрозділами.
Ви можете запитати, що є найбільшою особливістю цьогорічної конференції Zhiyuan порівняно з попередніми?
Стиль послідовний, підсумований двома словами: професійний і чистий.
Конференція Zhiyuan проходила без будь-яких реалістичних цілей і не приділяла уваги продуктам та інвесторам.
Тут лідери галузі можуть висловлювати особисті думки та робити судження з професійної точки зору, і, звичайно, включати зіткнення та дебати найкращих думок, не беручи до уваги багато реалістичних факторів.
Цього року в Zhiyuan Conference вперше взяв участь «хрещений батько штучного інтелекту» Джеффрі Хінтон, який деякий час тому звільнився з Google, оскільки пошкодував про справу свого життя. Він опублікував останні погляди на безпеку штучного інтелекту.
Як завжди, "оптиміст" Янн ЛеКун не буде турбуватися про ризики штучного інтелекту, як більшість людей. На його думку, нерозумно гальмувати до того, як автомобіль буде побудований. Зараз слід докласти зусиль для розробки більш просунутих технологій ШІ. і алгоритми.
Водночас на зустрічі ви також побачите жорстке протистояння поглядів. Макс Тегмарк про контроль ризиків ШІ. Хоча його не можна назвати повною протилежністю LeCun, є також значні відмінності.
Це найбільша родзинка конференції Чжіюань, і це також послідовний стиль.
Останніми роками унікальність цього позиціонування стає все більш важливою.
Розвиток штучного інтелекту все більше впливає на світ і Китай, тому кожному потрібен привід висловити свою точку зору в чистому вигляді, включно з ідеологічними колізіями та гарячими дебатами.
Важливість цього полягає в тому, що чим професійнішими, чистішими, нейтральнішими та відкритішими є конференції, тим сприятливіше для всіх краще зрозуміти таку епоху швидкого розвитку.
За кордоном Чжіюаньська конференція також має відмінну репутацію.Міжнародні організації розглядають Чжіюаньську конференцію як вікно для співпраці з Китаєм у дослідженнях штучного інтелекту.
Походження назви Чжиюань також є джерелом розвідки. Тому проведення Zhiyuan Conference стало знаковою подією для сприяння екологічному розвитку штучного інтелекту.
Сильний склад гостей, багатство тем і глибина змісту дискусій створили унікальну конференцію Zhiyuan.
Ця ексклюзивна ексклюзивна ексклюзивна топова подія для експертів зі штучного інтелекту стала яскравою візитною карткою у сфері штучного інтелекту в Китаї.
Посилання: