Сэм Альтман и Хинтон дебютируют в Китае! Успешно завершилось самое масштабное экспертное мероприятие по искусственному интеллекту в Китае, а масштабная отечественная модель «Просвещение 3.0» была полностью открыта.
【Введение в Синьчжиюань】 Конференция Чжиюань в этом году по-прежнему усеяна звездами и полна академического смысла. Все громкие имена обсуждали супер ИИ, и столкновение идей зажгло искры. Это все еще гала-концерт весеннего фестиваля ИИ, который нельзя пропустить!
Только что успешно завершилась ежегодная внутренняя конференция Чжиюань «Гала-фестиваль весны ИИ»!
На этом ежегодном пиковом мероприятии искусственного интеллекта присутствуют знакомые звездные команды, такие как OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI и т. д., есть Meta, Google, Microsoft и другие крупные производители, покорившие мир, и есть являются Стэнфорд, Калифорнийский университет в Беркли, Массачусетский технологический институт и другие ведущие университеты мира.
Авторы важных работ, таких как GPT-4, PaLM-E, OPT, LLaMA и т. д., присутствовали и объясняли нам результаты исследований. Можно сказать, что эта конференция имеет как профессиональную глубину, так и творческое вдохновение, и каждая тема обсуждена до крайности.
Кульминацией конференции, несомненно, стали выступления лауреата премии Тьюринга Яна Лекуна, Джеффри Хинтона и основателя OpenAI Сэма Альтмана.
Внешний вид этих супертяжеловесов можно охарактеризовать как полный ярких моментов.
Джеффри Хинтон: Риск супер ИИ актуален
В только что завершившемся заключительном программном выступлении форума Хинтон, лауреат премии Тьюринга и отец глубокого обучения, предложил нам сценарий, над которым стоит подумать.
В начале выступления Хинтон спросил: «Являются ли искусственные нейронные сети умнее, чем настоящие нейронные сети?»
Да, по его мнению, это может произойти в ближайшее время.
Как и некоторое время назад, Хинтон ушел из Google и в двух словах объяснил причины своего ухода. Он выразил сожаление по поводу работы всей своей жизни и опасения по поводу опасностей искусственного интеллекта. Он неоднократно публично заявлял, что опасность искусственного интеллекта для мира более актуальна, чем изменение климата.
Точно так же на конференции в Чжиюань Хинтон снова говорил о рисках ИИ.
Что, если бы большая нейронная сеть, работающая на нескольких цифровых компьютерах, могла бы получать знания непосредственно из мира, в дополнение к имитации человеческого языка для получения человеческих знаний?
Очевидно, что он станет намного лучше, чем люди, потому что он наблюдал больше данных.
Эта идея не надуманная, если эта нейронная сеть может выполнять неконтролируемое моделирование изображений или видео, а ее копии также могут манипулировать физическим миром.
В самых крайних случаях преступники используют сверхразум, чтобы манипулировать избирателями и выигрывать войны.
Если сверхразуму позволить сформулировать свои собственные подцели, одна из которых состоит в том, чтобы получить больше власти, сверхразум будет манипулировать людьми, которые его используют, для достижения этой цели.
Чжан Хунцзян и Сэм Альтман Пик Вопросы и ответы: AGI может появиться в ближайшие десять лет
Этим утром Сэм Альтман также появился по видеосвязи. Это первый раз, когда Сэм Альтман выступил с публичной речью в Китае после взрыва ChatGPT.
Основные моменты:
Причина, по которой нынешняя революция ИИ так эффективна, заключается не только в масштабе ее влияния, но и в скорости прогресса. Это приносит как дивиденды, так и риски.
С появлением все более мощных систем искусственного интеллекта укрепление международного сотрудничества и укрепление глобального доверия приобретают первостепенное значение.
Выравнивание до сих пор остается открытым вопросом. GPT-4 завершил работу по выравниванию за последние 8 месяцев, в основном включая масштабируемость и объяснимость.
В своем выступлении Альтман неоднократно подчеркивал необходимость глобального согласования и контроля безопасности ИИ и специально процитировал предложение из Дао Дэ Цзин:
Путешествие в тысячу миль начинается с одного шага.
По его мнению, искусственный интеллект развивается со взрывной скоростью, и суперИИ может появиться в ближайшие десять лет.
Поэтому необходимо способствовать безопасности ОИИ, укреплять международное сотрудничество и согласовывать соответствующие исследовательские развертывания.
Сэм Альтман считает, что сотрудничество в международном научно-техническом сообществе — это первый шаг к конструктивному шагу на данный момент. В частности, следует улучшить механизмы прозрачности и обмена знаниями для технического прогресса в области безопасности ОИИ.
Кроме того, Альтман упомянул, что текущая основная исследовательская цель OpenAI сосредоточена на исследовании выравнивания ИИ, то есть на том, как сделать ИИ полезным и безопасным помощником.
Одним из них является масштабируемое наблюдение, пытающееся использовать системы ИИ, чтобы помочь людям контролировать другие системы искусственного интеллекта. Во-вторых, интерпретируемость, попытка понять «черный ящик» внутренней работы большой модели.
В конечном счете, OpenAI нацелен на обучение систем ИИ для помощи в исследованиях выравнивания.
После выступления Чжан Хунцзян, председатель Исследовательского института Чжиюань, и Сэм Альтман начали диалог в воздухе, чтобы обсудить, как сделать выравнивание ИИ безопасным.
На вопрос, будет ли OpenAI открывать большие модели с открытым исходным кодом, Альтман сказал, что в будущем будет больше открытых исходных кодов, но конкретной модели и графика нет.
Кроме того, он также сказал, что GPT-5 в ближайшее время не будет.
После встречи Альтман опубликовал сообщение, в котором выразил благодарность за приглашение выступить с речью на конференции Чжиюань.
ЛеКун: все еще фанат мировой модели
Другой обладатель премии Тьюринга, ЛеКун, выступавший в первый день, по-прежнему продолжал продвигать собственную концепцию «модели мира».
ЛеКун всегда выражал презрение к идее, что ИИ уничтожит людей, он считает, что сегодняшний ИИ не так умен, как собака, и что настоящий искусственный интеллект еще не разработан, такие опасения излишни.
Он объяснил, что ИИ не может рассуждать и планировать, как люди и животные, отчасти потому, что современные системы машинного обучения имеют практически постоянные вычислительные шаги между вводом и выводом.
Как машина может понимать, как устроен мир, предсказывать последствия действий людей или разбивать его на несколько шагов для планирования сложных задач?
Ясно, что обучение с самоконтролем — это один из путей. По сравнению с обучением с подкреплением, обучение с самоконтролем может генерировать большое количество обратной связи и быть в состоянии предсказать любую часть своего ввода.
ЛеКун сказал, что он определил три основные задачи искусственного интеллекта в ближайшие несколько лет: изучить представление мира, предсказать модель мира и использовать обучение с самоконтролем.
Ключом к созданию ИИ человеческого уровня может быть способность изучить «модель мира».
Среди них «модель мира» состоит из шести независимых модулей, в том числе: модуль конфигуратора, модуль восприятия, модель мира, модуль стоимости, модуль актора и модуль кратковременной памяти.
Он считает, что проектирование архитектуры и парадигмы обучения для модели мира является реальным препятствием, сдерживающим развитие искусственного интеллекта в ближайшие несколько десятилетий.
На вопрос, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил, что у нас пока нет суперИИ, так как же мы можем сделать систему суперИИ безопасной?
Лучшее соответствие «Экспертное мероприятие по искусственному интеллекту»
Можно сказать, что энергичную конференцию Чжиюань 2023 года можно назвать самой масштабной и самой популярной конференцией в области ИИ в стране в этом году.
С самого начала основные характеристики Чжиюаньской конференции очень ясны: академическая, профессиональная, передовая.
В мгновение ока это ежегодное мероприятие для экспертов по искусственному интеллекту прошло уже пятый год.
На этот раз конференция Чжиюань 2023 года продолжает традицию каждой конференции Чжиюань, и ощущение академической атмосферы по-прежнему ошеломляет.
В 2021 году на третьей Чжиюаньской конференции лауреат премии Тьюринга Йошуа Бенгио, профессор Пекинского университета Э Вейнань и Чжу Минь, декан Национального института финансовых исследований Университета Цинхуа, выступят с программными докладами.
В 2022 году поделились два лауреата премии Тьюринга Янн ЛеКун и Ади Шамир, отец обучения с подкреплением Ричард Саттон, академик США Майкл И. Джордан, лауреат премии Гёделя Синтия Дворк и другие тяжеловесы.
А к 2023 году это, несомненно, будет «самая звездная» сессия.
Есть 4 лауреата премии Тьюринга Янн ЛеКун, Джеффри Хинтон, Джозеф Сифакис и Яо Цижи, а также основатель OpenAI Сэм Альтман, лауреат Нобелевской премии Арье Варшел, основатель Future Life Institute Макс Тегмарк и обладатель премии Wu Wenjun Supreme Achievement Award 2022 Чжэн Наньнин. и академик Чжан Бо из Китайской академии наук.
Что еще более важно, после того, как крупномасштабный модельный проект Чжиюаня «Просвещение» постоянно бил рекорд «первый в Китае + крупнейший в мире», «Просвещение 3.0» вступило в новую стадию «всеобъемлющего открытого исходного кода».
«Просвещение 3.0» — масштабный модельный ряд.
В частности, он включает в себя серию крупномасштабных моделей на языке Aquila, систему оценки крупномасштабных моделей Flag, серию визуальных крупномасштабных моделей «Просвещение · Видение» и серию мультимодальных крупномасштабных моделей.
Language Large Model Series
Enlightenment·Aquila: полностью открытая коммерческая лицензия
Прежде всего, это модель серии Aquila, которая является первой языковой моделью с открытым исходным кодом с китайским и английским двуязычным знанием и поддерживает внутренние требования соответствия данных, а также имеет полностью открытые коммерческие лицензии.
Этот открытый исходный код включает в себя базовую модель с 7 миллиардами параметров и 33 миллиардами параметров, диалоговую модель AquilaChat и модель генерации «текстового кода» AquilaCode.
Адрес с открытым исходным кодом Enlightenment Aquila:
Более высокая производительность
Технически базовая модель Aquila (7B, 33B) технически наследует преимущества архитектурного дизайна GPT-3, LLaMA и т. д., заменяет набор более эффективных реализаций операторов нижнего уровня, перерабатывает и реализует китайско-английский двуязычный токенизатор, Метод параллельного обучения BMTrain был модернизирован, и в тренировочном процессе Aquila эффективность обучения почти в 8 раз выше, чем у Magtron+DeepSpeed ZeRO-2.
В частности, во-первых, выгода от новой техники для параллельного ускорения обучения.
В прошлом году Zhiyuan открыл исходный код проекта с открытым исходным кодом алгоритма большой модели FlagAI, который интегрировал новый метод параллельного обучения, такой как BMTrain. В процессе обучения дополнительно оптимизируются его расчеты и коммуникация, а также перекрывающиеся вопросы.
Во-вторых, Zhiyuan взяла на себя инициативу по внедрению технологии оптимизации операторов и интегрировала ее с методами параллельного ускорения для дальнейшего повышения производительности.
Изучение китайского и английского языков одновременно
Почему выпуск Aquila так воодушевляет?
Поскольку многие крупные модели «изучают только английский язык» — только на основе большого объема корпусного обучения английскому языку, а Aquila приходится учить и китайский, и английский языки.
Вы, возможно, испытали это на себе: когда человек изучает знания, это не проблема, если вы продолжаете использовать английский язык все время, но если вы изучаете английский язык, а затем изучаете китайский язык, трудности будут непреодолимыми.
Таким образом, по сравнению с англоязычными моделями, такими как LLaMA и OPT, сложность обучения Aquila, которая требует изучения как китайского, так и английского языка, многократно возросла.
Чтобы оптимизировать Aquila для китайских задач, Zhiyuan поместила почти 40% китайского корпуса в свой учебный корпус. Причина в том, что Чжиюань надеется, что Aquila сможет не только генерировать китайский язык, но и понимать многие местные знания китайского мира.
Кроме того, Zhiyuan также переработал и внедрил китайско-английский двуязычный токенизатор (tokenizer), который должен лучше распознавать и поддерживать сегментацию китайских слов.
В процессе обучения и проектирования для китайских задач команда Zhiyuan намеренно взвешивает два измерения качества и эффективности, чтобы определить размер токенизатора.
Диалоговая модель AquilaChat (7B, 33B), построенная на базе базовой модели Aquila, поддерживает гладкий текстовый диалог и многоязычные задачи генерации.
несколько раундов диалога
Формирование состава вступительного экзамена в колледж
Кроме того, определяя расширяемые спецификации специальных инструкций, AquilaChat можно использовать для вызова других моделей и инструментов, и его легко расширять.
Например, многоязычная модель генерации текста и изображений AltDiffusion с открытым исходным кодом Zhiyuan используется для реализации возможностей плавного создания текста и изображений. Взаимодействуя с многоступенчатой управляемой графической моделью Винсента Zhiyuan InstructFace, он также может легко реализовать многоступенчатое управляемое редактирование изображений лица.
Генерация текста
Многоступенчатое управляемое редактирование лица
Модель генерации "текстового кода" AquilaCode-7B, основанная на мощных возможностях базовой модели Aquila-7B, обеспечивает высокую производительность при небольшом наборе данных и небольшом количестве параметров. В настоящее время это лучшая модель с открытым исходным кодом, поддерживающая китайский язык. и двуязычная производительность на английском языке.После высококачественной фильтрации обучение выполняется с использованием данных обучающего кода с соответствующими лицензиями с открытым исходным кодом.
Кроме того, AquilaCode-7B завершил обучение моделей кода на чипах Nvidia и отечественных чипах соответственно, а благодаря открытому исходному коду + модели различных архитектур способствует инновациям в чипах и расцвету сотни цветов.
генерация текстового кода
Более совместимый и чистый китайский корпус
По сравнению с зарубежными моделями с открытым исходным кодом наиболее отличительной чертой Aquila является то, что она поддерживает внутренние требования соответствия данных.
Зарубежные крупномасштабные модели могут иметь определенные китайские возможности, но почти все китайские интернет-данные, используемые зарубежными крупномасштабными моделями с открытым исходным кодом, извлекаются из наборов интернет-данных, таких как Common Crawl.
Однако, если мы проанализируем корпус Common Crawl, мы обнаружим, что в его 1 миллионе записей доступно менее 40 000 китайских веб-страниц, и 83% из них — зарубежные веб-сайты, качество которых явно не поддается контролю.
Поэтому Aquila не использовала какой-либо китайский корпус в Common Crawl, а использовала собственный набор данных Wudao Чжиюаня, накопленный за последние три года. Набор данных Wudao Chinese поступает с более чем 10 000 веб-сайтов материкового Китая, поэтому его китайские данные соответствуют требованиям и являются более чистыми.
В общем, этот выпуск является лишь отправной точкой.Цель Zhiyuan — создать полный набор конвейеров эволюции и итерации большой модели, чтобы большая модель продолжала расти с добавлением большего количества данных и дополнительных возможностей, и она будет продолжаться. быть с открытым исходным кодом и открытым.
Стоит отметить, что Aquila доступна на потребительских видеокартах. Например, модель 7B может работать с 16 ГБ или даже меньшей видеопамятью.
Библиотека (Flag) система оценки больших моделей
Безопасная, надежная, всеобъемлющая и объективная система оценки крупномасштабных моделей также очень важна для технологических инноваций и промышленного внедрения крупномасштабных моделей.
Прежде всего, для академического сообщества, если вы хотите продвигать инновации больших моделей, у вас должна быть линейка для измерения возможностей и качества больших моделей.
Во-вторых, для отрасли подавляющее большинство компаний предпочтут напрямую использовать существующие крупные модели, а не разрабатывать их с нуля. При выборе необходима система оценки, которая поможет судить. В конце концов, базовые большие модели, разработанные самостоятельно, требуют огромных затрат вычислительной мощности. Для разработки модели с 30 миллиардами параметров необходимы средства, включающие вычислительные мощности, данные и т. д., не менее 20 миллионов.
Кроме того, возможно ли построить комплексную крупномасштабную систему оценки модели «автоматизированная оценка + ручная субъективная оценка» и реализовать автоматический замкнутый цикл от результатов оценки до анализа возможностей модели, а затем для улучшения возможностей модели. стать важным аспектом основных крупномасштабных инноваций модели одним из барьеров.
Чтобы решить эту проблему, Исследовательский институт Чжиюань решил уделить первоочередное внимание запуску крупномасштабной системы оценки моделей Libra (Flag) и открытой платформы (flag.baai.ac.cn).
Система оценки крупномасштабных моделей и открытая платформа Flag нацелены на создание научных, справедливых и открытых контрольных показателей, методов и наборов инструментов для оценки, чтобы помочь исследователям всесторонне оценить производительность базовых моделей и алгоритмов обучения и в то же время изучить использование методов ИИ для достижения цели. Помощь субъективной оценки значительно повышает эффективность и объективность оценки.
В частности, система оценки крупномасштабных моделей Flag инновационно строит трехмерную структуру оценки «способность-задача-индикатор», которая может детально описывать границу когнитивных способностей базовой модели и визуализировать результаты оценки.
В настоящее время система оценки крупномасштабной модели Flag включает в общей сложности более 600 параметров оценки, включая 22 набора данных для оценки и 84 433 вопроса, и постепенно интегрируются дополнительные наборы данных для оценки.
Кроме того, система оценки крупномасштабных моделей Flag продолжит изучать междисциплинарные исследования между оценкой крупномасштабных языковых моделей и социальными дисциплинами, такими как психология, образование и этика, с целью более всесторонней и научной оценки крупномасштабных языковых моделей. .
30+ способностей × 5 задач × 4 категории показателей = 600+ размерных комплексных оценок
Визуальная серия больших моделей
Что касается компьютерного зрения, команда Enlightenment 3.0 создала серию больших моделей Enlightenment Vision с общим восприятием сцены и возможностями обработки сложных задач.
Среди них именно технология SOTA, состоящая из этих 6 всплесков, закладывает основу «Просветления·Видения»:
Мультимодальная большая модель «Эму», предобученная большая модель «ЕВА», визуальная многозадачная модель «Живописец», универсальная сегментарная модель зрения, графическая предобучающая большая модель «ЕВА-КЛИП» и технология видеомонтажа "вид2вид-ноль".
1. Эму: Завершение всего в мультимодальной последовательности
Эму — это большая модель, которая принимает мультимодальные входные данные и производит мультимодальные выходные данные. Основываясь на технологии мультимодального контекстного обучения, Emu может учиться на массивных мультимодальных последовательностях, таких как графический текст, чересстрочный графический текст и чересстрочный видеотекст.
После завершения обучения Emu может завершить все в контексте мультимодальных последовательностей, воспринимать, рассуждать и генерировать данные различных модальностей, таких как изображения, тексты и видео, а также выполнять несколько раундов графо-текстовых диалогов и графики с несколькими образцами. -понимание текста, видеоответы на вопросы, генерация текста в изображение, генерация графика в изображение и другие мультимодальные задачи.
2. EVA: мощнейшая визуальная базовая модель на миллиардном уровне
адрес проекта:
Адрес бумаги:
EVA сочетает семантическую модель обучения (CLIP) и метод обучения геометрической структуры (MIM) и расширяет стандартную модель ViT до 1 миллиарда параметров для обучения. Одним махом он достиг самой высокой производительности на тот момент в широком спектре задач визуального восприятия, таких как классификация ImageNet, обнаружение и сегментация COCO, а также классификация видео Kinetics.
3. EVA-CLIP: самая мощная модель CLIP с открытым исходным кодом
Адрес проекта: /tree/master/EVA-CLIP
Адрес бумаги:
EVA-CLIP, разработанный с использованием базовой модели машинного зрения EVA в качестве ядра, был повторен до 5 миллиардов параметров.
По сравнению с предыдущим OpenCLIP с уровнем точности 80,1%, модель EVA-CLIP имеет уровень точности 82,0% в Top1 с нулевой выборкой ImageNet1K. С точки зрения точности ImageNet kNN, последняя модель Meta DINOv2 находится на одном уровне с 1 миллиардом параметров EVA-CLIP.
4. Painter: первая технология «контекстного обучения изображениям»
адрес проекта:
Адрес бумаги:
Основная идея общей визуальной модели Моделирование Painter «ориентировано на зрение».Используя изображения в качестве входных и выходных данных, контекстная визуальная информация получается для выполнения различных визуальных задач.
5. Универсальная модель сегментации горизонтов: все-в-одном, все разделить
Универсальная модель сегментации Horizon обладает мощной способностью к осмыслению визуального контекста, и ей требуется только одно или несколько примеров изображений и визуальных подсказок, и модель может понимать намерения пользователя и выполнять аналогичные задачи сегментации.
Проще говоря, пользователи отмечают и распознают класс объектов на экране, и они могут идентифицировать и сегментировать похожие объекты в пакетах, будь то текущий экран или другие экраны или видеосреды.
6. vid2vid-zero: первая в отрасли технология редактирования видео с нулевой выборкой
адрес проекта:
Ссылка на бумагу:
Демонстрационный сайт:
Технология видеомонтажа с нулевой выборкой «vid2vid-zero» впервые использует динамические характеристики механизма внимания в сочетании с существующей моделью распространения изображений для создания модельной основы для редактирования видео без дополнительной предварительной подготовки видео. Теперь просто загрузите видео, а затем введите строку текстовых подсказок, вы можете редактировать видео с указанными атрибутами.
Просветитель крупномасштабных модельных исследований в Китае
Научно-исследовательский институт Чжиюань, основанный в ноябре 2018 года, является пионером крупномасштабных модельных исследований в Китае и после пяти лет развития стал эталоном для крупномасштабных модельных исследований в Китае.
Что отличает его от других учреждений, так это то, что научно-исследовательский институт Чжиюань является платформой. В начале своего создания Научно-исследовательский институт Чжиюань рассматривал создание инновационной экосистемы искусственного интеллекта как одну из своих основных миссий и задач.
Как Zhiyuan способствовал развитию крупномасштабных модельных исследований в Китае с момента своего основания?
Фактически, создание Научно-исследовательского института Чжиюань произошло как раз вовремя для появления зарубежных крупномасштабных моделей.
Говоря об этом, основное направление исследований OpenAI, созданное в 2015 году, заключается в изучении пути к AGI, и это не большая модель.
После 2018 года OpenAI начал ориентироваться на большие модели и в июне выпустил GPT со 117 миллионами параметров. В том же году Google также выпустил крупномасштабную предварительно обученную языковую модель BERT с 300 миллионами параметров.
Все заметили, что вся отраслевая и технологическая тенденция в 2018 году заключается в создании более крупной модели.
По мере увеличения вычислительной мощности, используемой моделью, закон Мура становится так называемым «модельным законом», то есть вычислительная мощность, используемая для обучения большой модели, удваивается за 3-4 месяца.
Также в 2018 году был основан Исследовательский институт Чжиюань, который взял на себя инициативу по объединению ведущих ученых в области ИИ и начал исследование больших моделей.
В результате в 2021 году Zhiyuan последовательно выпустила две большие модели Enlightenment 1.0 и Enlightenment 2.0.
По словам Хуан Тецзюня, на пресс-конференции Enlightenment 1.0 в марте 2021 года компания Zhiyuan Research пришла к выводу, что искусственный интеллект превратился из «большой модели» в новый этап «большой модели». попал в поле зрения общественности.
Каждый год на конференции в Чжиюане будут представлены три основных технических маршрута для восхождения на вершину AGI: большие модели, жизненный интеллект и AI4Science. Эти три пути не изолированы друг от друга, они взаимодействуют и влияют друг на друга.
Сегодня основная причина появления новых возможностей больших моделей заключается в том, что за ними стоят массивные данные.
Лингвистические данные сами по себе содержат обширные знания и интеллект, которые извлекаются с помощью крупномасштабных моделей, а нейронные сети используются для выражения законов, лежащих в основе сложных данных.
Это разумная причина, по которой один из технических маршрутов большой модели может привести к ОИИ.
Это также объясняет, почему Zhiyuan изначально сосредоточился на большой модели. В марте 2021 года было выпущено Enlightenment 1.0, а в июне — Enlightenment 2.0.
Кроме того, в дополнение к большой модели, Zhiyuan также постоянно исследует две другие дороги, ведущие к AGI, «Life Intelligence» и «AI4Science».
В 2022 году Zhiyuan выпустила наиболее точную симуляцию Caenorhabditis elegans. На этот раз Чжиюань открыла платформу моделирования жизни «eVolution-eVolution», используемую при изучении искусственных нематод для предоставления онлайн-услуг.
Tianyan — это сверхкрупномасштабная платформа для моделирования нейронных сетей с четырьмя примечательными особенностями: наиболее эффективная платформа для моделирования тонких нейронных сетей, поддержка сверхкрупномасштабного моделирования нейронных сетей, универсальный набор инструментов для онлайн-моделирования и симуляции, а также Высококачественное визуальное взаимодействие поддерживает моделирование в реальном времени и визуальную совместную работу.
Основанный на платформе Tianyan, он реализует высокоточное моделирование биологического интеллекта, исследует сущность интеллекта и продвигает общий искусственный интеллект, вдохновленный биологией. Кроме того, команда Tianyan подключила Tianyan к экзафлопсному суперкомпьютеру нового поколения моей страны — суперкомпьютеру Tianhe нового поколения.
Благодаря успешному развертыванию и эксплуатации «Тяньян-Тяньхэ» может быть реализовано моделирование тонкой сети зрительной коры мозга мыши V1 и других моделей, а потребление энергии вычислений может быть снижено более чем в 10 раз, а скорость вычислений может быть увеличена. быть увеличено более чем в 10 раз, достигнув самого экстремального в мире. Производительность моделирования тонкой нейронной сети закладывает прочную основу для реализации тонкого моделирования всего человеческого мозга.
Теперь, два года спустя, Zhiyuan снова выпустила серию больших моделей Enlightenment 3.0.
С точки зрения позиционирования, с момента выпуска Enlightenment 2.0 Zhiyuan как некоммерческая платформенная организация не только производит модели и модели, но и постепенно вносит уникальный вклад в построение основной экологии больших моделей.
Среди них он включает в себя сортировку данных за моделью, тестирование модели, тестирование алгоритма, открытый исходный код и открытые организации, а также комплексную компоновку платформ вычислительной мощности.
Почему Чжиюань сделал такое изменение?
Потому что Zhiyuan глубоко понимает, что сама по себе крупная модель — это не самая важная форма продукта в эпоху больших моделей, а новая эра, характеризующаяся систематизацией и интеллектуальными услугами.
В настоящее время большая модель будет продолжать развиваться, а неизменным останется стоящая за ней техническая итерация, то есть алгоритм обучения модели.
Последняя модель, которую вы видите каждый день, — это просто затвердевший результат.Важно то, является ли алгоритм обучения модели продвинутым, эффективно ли снижена стоимость и являются ли возможности, стоящие за этим, объяснимыми и контролируемыми.
Таким образом, Zhiyuan как платформенная организация должна объединить алгоритмы отраслевых моделей обучения в повторяющееся целое.
Эта работа необходима, Чжиюань не только работает над самим алгоритмом крупномасштабной модели, но и тратит больше времени и сил на разработку технической системы крупномасштабной модели.
Например, Zhiyuan запустила крупномасштабную платформу облачных вычислений «Jiuding Smart Computing Platform», чтобы обеспечить вычислительную мощность, данные и поддержку алгоритмов для обучения крупномасштабных моделей.
Конечно, это не только собственная сила Zhiyuan, но и промышленность, университет и научно-исследовательские институты, чтобы сотрудничать и повторять открыто.
В марте этого года Zhiyuan выпустила систему с открытым исходным кодом технологии крупномасштабных моделей FlagOpen Feizhi, которая представляет собой открытую программную систему с открытым исходным кодом для крупномасштабных моделей, созданную совместно с рядом отраслевых, университетских и исследовательских подразделений.
Как сказал декан Хуан Тецзюнь: «Мы надеемся, что теперь, когда большая модель стала ведущей силой в развитии индустрии искусственного интеллекта, мы будем делать больше вспомогательной работы в будущем и внесем уникальную силу в эту эпоху».
Вы можете спросить, что является самой большой особенностью Чжиюаньской конференции этого года по сравнению с предыдущими?
Стиль последователен, охарактеризован двумя словами: профессиональный и чистый.
Конференция Чжиюань была проведена без каких-либо реальных целей и не обращала внимания на продукты и инвесторов.
Здесь лидеры отрасли могут высказывать личные мнения и выносить суждения с профессиональной точки зрения и, конечно же, включать в себя столкновения и дебаты ведущих мнений, не принимая во внимание множество реальных факторов.
«Крестный отец ИИ» Джеффри Хинтон впервые принял участие в Чжиюаньской конференции в этом году.Некоторое время назад он ушел из Google, потому что сожалел о работе всей своей жизни. Он опубликовал последние взгляды на безопасность искусственного интеллекта.
Как всегда, "оптимист" Янн ЛеКун не будет беспокоиться о рисках искусственного интеллекта, как большинство людей. По его мнению, тормозить до того, как автомобиль будет построен, неразумно. В настоящее время следует приложить усилия для разработки более совершенных технологий искусственного интеллекта. и алгоритмы.
В то же время вы также увидите ожесточенное противостояние взглядов на встрече. Макс Тегмарк о контроле риска ИИ. Хотя нельзя сказать, что он полностью противоположен ЛеКуну, но есть и большие отличия.
Это самая большая изюминка Чжиюаньской конференции, а также последовательный стиль.
Уникальность такого позиционирования становится все более важной в последние годы.
Развитие искусственного интеллекта оказывает все большее влияние на мир и Китай, поэтому каждому нужен повод для выражения своих взглядов в чистом виде, включая идеологические коллизии и горячие споры.
Значение этого состоит в том, что только чем профессиональнее, чище, нейтральнее и открытее конференции, тем благоприятнее для каждого лучше понять такую эпоху быстрого развития.
В зарубежных странах Чжиюаньская конференция также пользуется отличной репутацией.Международные организации рассматривают Чжиюаньскую конференцию как окно для сотрудничества с Китаем в исследованиях искусственного интеллекта.
Происхождение имени Чжиюань также является источником интеллекта. Поэтому проведение Чжиюаньской конференции стало знаковым событием, способствующим экологическому развитию искусственного интеллекта.
Сильный состав гостей, богатство тем и глубина дискуссий по содержанию создали уникальную конференцию Чжиюань.
Это топовое мероприятие, эксклюзивное для экспертов в области искусственного интеллекта, стало яркой визитной карточкой в области искусственного интеллекта в Китае.
Использованная литература:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Сэм Альтман и Хинтон дебютируют в Китае! Успешно завершилось самое масштабное экспертное мероприятие по искусственному интеллекту в Китае, а масштабная отечественная модель «Просвещение 3.0» была полностью открыта.
**Источник:**Синьчжиюань
Только что успешно завершилась ежегодная внутренняя конференция Чжиюань «Гала-фестиваль весны ИИ»!
На этом ежегодном пиковом мероприятии искусственного интеллекта присутствуют знакомые звездные команды, такие как OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI и т. д., есть Meta, Google, Microsoft и другие крупные производители, покорившие мир, и есть являются Стэнфорд, Калифорнийский университет в Беркли, Массачусетский технологический институт и другие ведущие университеты мира.
Авторы важных работ, таких как GPT-4, PaLM-E, OPT, LLaMA и т. д., присутствовали и объясняли нам результаты исследований. Можно сказать, что эта конференция имеет как профессиональную глубину, так и творческое вдохновение, и каждая тема обсуждена до крайности.
Кульминацией конференции, несомненно, стали выступления лауреата премии Тьюринга Яна Лекуна, Джеффри Хинтона и основателя OpenAI Сэма Альтмана.
Джеффри Хинтон: Риск супер ИИ актуален
В только что завершившемся заключительном программном выступлении форума Хинтон, лауреат премии Тьюринга и отец глубокого обучения, предложил нам сценарий, над которым стоит подумать.
Да, по его мнению, это может произойти в ближайшее время.
Как и некоторое время назад, Хинтон ушел из Google и в двух словах объяснил причины своего ухода. Он выразил сожаление по поводу работы всей своей жизни и опасения по поводу опасностей искусственного интеллекта. Он неоднократно публично заявлял, что опасность искусственного интеллекта для мира более актуальна, чем изменение климата.
Точно так же на конференции в Чжиюань Хинтон снова говорил о рисках ИИ.
Что, если бы большая нейронная сеть, работающая на нескольких цифровых компьютерах, могла бы получать знания непосредственно из мира, в дополнение к имитации человеческого языка для получения человеческих знаний?
Эта идея не надуманная, если эта нейронная сеть может выполнять неконтролируемое моделирование изображений или видео, а ее копии также могут манипулировать физическим миром.
Если сверхразуму позволить сформулировать свои собственные подцели, одна из которых состоит в том, чтобы получить больше власти, сверхразум будет манипулировать людьми, которые его используют, для достижения этой цели.
Чжан Хунцзян и Сэм Альтман Пик Вопросы и ответы: AGI может появиться в ближайшие десять лет
Этим утром Сэм Альтман также появился по видеосвязи. Это первый раз, когда Сэм Альтман выступил с публичной речью в Китае после взрыва ChatGPT.
Причина, по которой нынешняя революция ИИ так эффективна, заключается не только в масштабе ее влияния, но и в скорости прогресса. Это приносит как дивиденды, так и риски.
С появлением все более мощных систем искусственного интеллекта укрепление международного сотрудничества и укрепление глобального доверия приобретают первостепенное значение.
Выравнивание до сих пор остается открытым вопросом. GPT-4 завершил работу по выравниванию за последние 8 месяцев, в основном включая масштабируемость и объяснимость.
В своем выступлении Альтман неоднократно подчеркивал необходимость глобального согласования и контроля безопасности ИИ и специально процитировал предложение из Дао Дэ Цзин:
По его мнению, искусственный интеллект развивается со взрывной скоростью, и суперИИ может появиться в ближайшие десять лет.
Поэтому необходимо способствовать безопасности ОИИ, укреплять международное сотрудничество и согласовывать соответствующие исследовательские развертывания.
Сэм Альтман считает, что сотрудничество в международном научно-техническом сообществе — это первый шаг к конструктивному шагу на данный момент. В частности, следует улучшить механизмы прозрачности и обмена знаниями для технического прогресса в области безопасности ОИИ.
Кроме того, Альтман упомянул, что текущая основная исследовательская цель OpenAI сосредоточена на исследовании выравнивания ИИ, то есть на том, как сделать ИИ полезным и безопасным помощником.
В конечном счете, OpenAI нацелен на обучение систем ИИ для помощи в исследованиях выравнивания.
После выступления Чжан Хунцзян, председатель Исследовательского института Чжиюань, и Сэм Альтман начали диалог в воздухе, чтобы обсудить, как сделать выравнивание ИИ безопасным.
Кроме того, он также сказал, что GPT-5 в ближайшее время не будет.
После встречи Альтман опубликовал сообщение, в котором выразил благодарность за приглашение выступить с речью на конференции Чжиюань.
ЛеКун: все еще фанат мировой модели
Другой обладатель премии Тьюринга, ЛеКун, выступавший в первый день, по-прежнему продолжал продвигать собственную концепцию «модели мира».
Он объяснил, что ИИ не может рассуждать и планировать, как люди и животные, отчасти потому, что современные системы машинного обучения имеют практически постоянные вычислительные шаги между вводом и выводом.
Как машина может понимать, как устроен мир, предсказывать последствия действий людей или разбивать его на несколько шагов для планирования сложных задач?
ЛеКун сказал, что он определил три основные задачи искусственного интеллекта в ближайшие несколько лет: изучить представление мира, предсказать модель мира и использовать обучение с самоконтролем.
Ключом к созданию ИИ человеческого уровня может быть способность изучить «модель мира».
Среди них «модель мира» состоит из шести независимых модулей, в том числе: модуль конфигуратора, модуль восприятия, модель мира, модуль стоимости, модуль актора и модуль кратковременной памяти.
На вопрос, будет ли система ИИ представлять экзистенциальный риск для людей, ЛеКун ответил, что у нас пока нет суперИИ, так как же мы можем сделать систему суперИИ безопасной?
Лучшее соответствие «Экспертное мероприятие по искусственному интеллекту»
Можно сказать, что энергичную конференцию Чжиюань 2023 года можно назвать самой масштабной и самой популярной конференцией в области ИИ в стране в этом году.
С самого начала основные характеристики Чжиюаньской конференции очень ясны: академическая, профессиональная, передовая.
В мгновение ока это ежегодное мероприятие для экспертов по искусственному интеллекту прошло уже пятый год.
На этот раз конференция Чжиюань 2023 года продолжает традицию каждой конференции Чжиюань, и ощущение академической атмосферы по-прежнему ошеломляет.
В 2022 году поделились два лауреата премии Тьюринга Янн ЛеКун и Ади Шамир, отец обучения с подкреплением Ричард Саттон, академик США Майкл И. Джордан, лауреат премии Гёделя Синтия Дворк и другие тяжеловесы.
А к 2023 году это, несомненно, будет «самая звездная» сессия.
Есть 4 лауреата премии Тьюринга Янн ЛеКун, Джеффри Хинтон, Джозеф Сифакис и Яо Цижи, а также основатель OpenAI Сэм Альтман, лауреат Нобелевской премии Арье Варшел, основатель Future Life Institute Макс Тегмарк и обладатель премии Wu Wenjun Supreme Achievement Award 2022 Чжэн Наньнин. и академик Чжан Бо из Китайской академии наук.
«Просвещение 3.0» — масштабный модельный ряд.
В частности, он включает в себя серию крупномасштабных моделей на языке Aquila, систему оценки крупномасштабных моделей Flag, серию визуальных крупномасштабных моделей «Просвещение · Видение» и серию мультимодальных крупномасштабных моделей.
Language Large Model Series
Enlightenment·Aquila: полностью открытая коммерческая лицензия
Прежде всего, это модель серии Aquila, которая является первой языковой моделью с открытым исходным кодом с китайским и английским двуязычным знанием и поддерживает внутренние требования соответствия данных, а также имеет полностью открытые коммерческие лицензии.
Этот открытый исходный код включает в себя базовую модель с 7 миллиардами параметров и 33 миллиардами параметров, диалоговую модель AquilaChat и модель генерации «текстового кода» AquilaCode.
Более высокая производительность
Технически базовая модель Aquila (7B, 33B) технически наследует преимущества архитектурного дизайна GPT-3, LLaMA и т. д., заменяет набор более эффективных реализаций операторов нижнего уровня, перерабатывает и реализует китайско-английский двуязычный токенизатор, Метод параллельного обучения BMTrain был модернизирован, и в тренировочном процессе Aquila эффективность обучения почти в 8 раз выше, чем у Magtron+DeepSpeed ZeRO-2.
В частности, во-первых, выгода от новой техники для параллельного ускорения обучения.
В прошлом году Zhiyuan открыл исходный код проекта с открытым исходным кодом алгоритма большой модели FlagAI, который интегрировал новый метод параллельного обучения, такой как BMTrain. В процессе обучения дополнительно оптимизируются его расчеты и коммуникация, а также перекрывающиеся вопросы.
Во-вторых, Zhiyuan взяла на себя инициативу по внедрению технологии оптимизации операторов и интегрировала ее с методами параллельного ускорения для дальнейшего повышения производительности.
Изучение китайского и английского языков одновременно
Почему выпуск Aquila так воодушевляет?
Поскольку многие крупные модели «изучают только английский язык» — только на основе большого объема корпусного обучения английскому языку, а Aquila приходится учить и китайский, и английский языки.
Вы, возможно, испытали это на себе: когда человек изучает знания, это не проблема, если вы продолжаете использовать английский язык все время, но если вы изучаете английский язык, а затем изучаете китайский язык, трудности будут непреодолимыми.
Таким образом, по сравнению с англоязычными моделями, такими как LLaMA и OPT, сложность обучения Aquila, которая требует изучения как китайского, так и английского языка, многократно возросла.
Чтобы оптимизировать Aquila для китайских задач, Zhiyuan поместила почти 40% китайского корпуса в свой учебный корпус. Причина в том, что Чжиюань надеется, что Aquila сможет не только генерировать китайский язык, но и понимать многие местные знания китайского мира.
Кроме того, Zhiyuan также переработал и внедрил китайско-английский двуязычный токенизатор (tokenizer), который должен лучше распознавать и поддерживать сегментацию китайских слов.
В процессе обучения и проектирования для китайских задач команда Zhiyuan намеренно взвешивает два измерения качества и эффективности, чтобы определить размер токенизатора.
Диалоговая модель AquilaChat (7B, 33B), построенная на базе базовой модели Aquila, поддерживает гладкий текстовый диалог и многоязычные задачи генерации.
Кроме того, определяя расширяемые спецификации специальных инструкций, AquilaChat можно использовать для вызова других моделей и инструментов, и его легко расширять.
Например, многоязычная модель генерации текста и изображений AltDiffusion с открытым исходным кодом Zhiyuan используется для реализации возможностей плавного создания текста и изображений. Взаимодействуя с многоступенчатой управляемой графической моделью Винсента Zhiyuan InstructFace, он также может легко реализовать многоступенчатое управляемое редактирование изображений лица.
Модель генерации "текстового кода" AquilaCode-7B, основанная на мощных возможностях базовой модели Aquila-7B, обеспечивает высокую производительность при небольшом наборе данных и небольшом количестве параметров. В настоящее время это лучшая модель с открытым исходным кодом, поддерживающая китайский язык. и двуязычная производительность на английском языке.После высококачественной фильтрации обучение выполняется с использованием данных обучающего кода с соответствующими лицензиями с открытым исходным кодом.
Более совместимый и чистый китайский корпус
По сравнению с зарубежными моделями с открытым исходным кодом наиболее отличительной чертой Aquila является то, что она поддерживает внутренние требования соответствия данных.
Зарубежные крупномасштабные модели могут иметь определенные китайские возможности, но почти все китайские интернет-данные, используемые зарубежными крупномасштабными моделями с открытым исходным кодом, извлекаются из наборов интернет-данных, таких как Common Crawl.
Однако, если мы проанализируем корпус Common Crawl, мы обнаружим, что в его 1 миллионе записей доступно менее 40 000 китайских веб-страниц, и 83% из них — зарубежные веб-сайты, качество которых явно не поддается контролю.
Поэтому Aquila не использовала какой-либо китайский корпус в Common Crawl, а использовала собственный набор данных Wudao Чжиюаня, накопленный за последние три года. Набор данных Wudao Chinese поступает с более чем 10 000 веб-сайтов материкового Китая, поэтому его китайские данные соответствуют требованиям и являются более чистыми.
В общем, этот выпуск является лишь отправной точкой.Цель Zhiyuan — создать полный набор конвейеров эволюции и итерации большой модели, чтобы большая модель продолжала расти с добавлением большего количества данных и дополнительных возможностей, и она будет продолжаться. быть с открытым исходным кодом и открытым.
Стоит отметить, что Aquila доступна на потребительских видеокартах. Например, модель 7B может работать с 16 ГБ или даже меньшей видеопамятью.
Библиотека (Flag) система оценки больших моделей
Безопасная, надежная, всеобъемлющая и объективная система оценки крупномасштабных моделей также очень важна для технологических инноваций и промышленного внедрения крупномасштабных моделей.
Прежде всего, для академического сообщества, если вы хотите продвигать инновации больших моделей, у вас должна быть линейка для измерения возможностей и качества больших моделей.
Во-вторых, для отрасли подавляющее большинство компаний предпочтут напрямую использовать существующие крупные модели, а не разрабатывать их с нуля. При выборе необходима система оценки, которая поможет судить. В конце концов, базовые большие модели, разработанные самостоятельно, требуют огромных затрат вычислительной мощности. Для разработки модели с 30 миллиардами параметров необходимы средства, включающие вычислительные мощности, данные и т. д., не менее 20 миллионов.
Кроме того, возможно ли построить комплексную крупномасштабную систему оценки модели «автоматизированная оценка + ручная субъективная оценка» и реализовать автоматический замкнутый цикл от результатов оценки до анализа возможностей модели, а затем для улучшения возможностей модели. стать важным аспектом основных крупномасштабных инноваций модели одним из барьеров.
Чтобы решить эту проблему, Исследовательский институт Чжиюань решил уделить первоочередное внимание запуску крупномасштабной системы оценки моделей Libra (Flag) и открытой платформы (flag.baai.ac.cn).
В частности, система оценки крупномасштабных моделей Flag инновационно строит трехмерную структуру оценки «способность-задача-индикатор», которая может детально описывать границу когнитивных способностей базовой модели и визуализировать результаты оценки.
В настоящее время система оценки крупномасштабной модели Flag включает в общей сложности более 600 параметров оценки, включая 22 набора данных для оценки и 84 433 вопроса, и постепенно интегрируются дополнительные наборы данных для оценки.
Кроме того, система оценки крупномасштабных моделей Flag продолжит изучать междисциплинарные исследования между оценкой крупномасштабных языковых моделей и социальными дисциплинами, такими как психология, образование и этика, с целью более всесторонней и научной оценки крупномасштабных языковых моделей. .
Визуальная серия больших моделей
Что касается компьютерного зрения, команда Enlightenment 3.0 создала серию больших моделей Enlightenment Vision с общим восприятием сцены и возможностями обработки сложных задач.
Среди них именно технология SOTA, состоящая из этих 6 всплесков, закладывает основу «Просветления·Видения»:
Мультимодальная большая модель «Эму», предобученная большая модель «ЕВА», визуальная многозадачная модель «Живописец», универсальная сегментарная модель зрения, графическая предобучающая большая модель «ЕВА-КЛИП» и технология видеомонтажа "вид2вид-ноль".
1. Эму: Завершение всего в мультимодальной последовательности
После завершения обучения Emu может завершить все в контексте мультимодальных последовательностей, воспринимать, рассуждать и генерировать данные различных модальностей, таких как изображения, тексты и видео, а также выполнять несколько раундов графо-текстовых диалогов и графики с несколькими образцами. -понимание текста, видеоответы на вопросы, генерация текста в изображение, генерация графика в изображение и другие мультимодальные задачи.
2. EVA: мощнейшая визуальная базовая модель на миллиардном уровне
Адрес бумаги:
EVA сочетает семантическую модель обучения (CLIP) и метод обучения геометрической структуры (MIM) и расширяет стандартную модель ViT до 1 миллиарда параметров для обучения. Одним махом он достиг самой высокой производительности на тот момент в широком спектре задач визуального восприятия, таких как классификация ImageNet, обнаружение и сегментация COCO, а также классификация видео Kinetics.
3. EVA-CLIP: самая мощная модель CLIP с открытым исходным кодом
Адрес бумаги:
EVA-CLIP, разработанный с использованием базовой модели машинного зрения EVA в качестве ядра, был повторен до 5 миллиардов параметров.
По сравнению с предыдущим OpenCLIP с уровнем точности 80,1%, модель EVA-CLIP имеет уровень точности 82,0% в Top1 с нулевой выборкой ImageNet1K. С точки зрения точности ImageNet kNN, последняя модель Meta DINOv2 находится на одном уровне с 1 миллиардом параметров EVA-CLIP.
4. Painter: первая технология «контекстного обучения изображениям»
Адрес бумаги:
Основная идея общей визуальной модели Моделирование Painter «ориентировано на зрение».Используя изображения в качестве входных и выходных данных, контекстная визуальная информация получается для выполнения различных визуальных задач.
5. Универсальная модель сегментации горизонтов: все-в-одном, все разделить
Проще говоря, пользователи отмечают и распознают класс объектов на экране, и они могут идентифицировать и сегментировать похожие объекты в пакетах, будь то текущий экран или другие экраны или видеосреды.
6. vid2vid-zero: первая в отрасли технология редактирования видео с нулевой выборкой
Ссылка на бумагу:
Демонстрационный сайт:
Технология видеомонтажа с нулевой выборкой «vid2vid-zero» впервые использует динамические характеристики механизма внимания в сочетании с существующей моделью распространения изображений для создания модельной основы для редактирования видео без дополнительной предварительной подготовки видео. Теперь просто загрузите видео, а затем введите строку текстовых подсказок, вы можете редактировать видео с указанными атрибутами.
Просветитель крупномасштабных модельных исследований в Китае
Научно-исследовательский институт Чжиюань, основанный в ноябре 2018 года, является пионером крупномасштабных модельных исследований в Китае и после пяти лет развития стал эталоном для крупномасштабных модельных исследований в Китае.
Что отличает его от других учреждений, так это то, что научно-исследовательский институт Чжиюань является платформой. В начале своего создания Научно-исследовательский институт Чжиюань рассматривал создание инновационной экосистемы искусственного интеллекта как одну из своих основных миссий и задач.
Как Zhiyuan способствовал развитию крупномасштабных модельных исследований в Китае с момента своего основания?
Говоря об этом, основное направление исследований OpenAI, созданное в 2015 году, заключается в изучении пути к AGI, и это не большая модель.
После 2018 года OpenAI начал ориентироваться на большие модели и в июне выпустил GPT со 117 миллионами параметров. В том же году Google также выпустил крупномасштабную предварительно обученную языковую модель BERT с 300 миллионами параметров.
Все заметили, что вся отраслевая и технологическая тенденция в 2018 году заключается в создании более крупной модели.
По мере увеличения вычислительной мощности, используемой моделью, закон Мура становится так называемым «модельным законом», то есть вычислительная мощность, используемая для обучения большой модели, удваивается за 3-4 месяца.
В результате в 2021 году Zhiyuan последовательно выпустила две большие модели Enlightenment 1.0 и Enlightenment 2.0.
По словам Хуан Тецзюня, на пресс-конференции Enlightenment 1.0 в марте 2021 года компания Zhiyuan Research пришла к выводу, что искусственный интеллект превратился из «большой модели» в новый этап «большой модели». попал в поле зрения общественности.
Каждый год на конференции в Чжиюане будут представлены три основных технических маршрута для восхождения на вершину AGI: большие модели, жизненный интеллект и AI4Science. Эти три пути не изолированы друг от друга, они взаимодействуют и влияют друг на друга.
Лингвистические данные сами по себе содержат обширные знания и интеллект, которые извлекаются с помощью крупномасштабных моделей, а нейронные сети используются для выражения законов, лежащих в основе сложных данных.
Это разумная причина, по которой один из технических маршрутов большой модели может привести к ОИИ.
Это также объясняет, почему Zhiyuan изначально сосредоточился на большой модели. В марте 2021 года было выпущено Enlightenment 1.0, а в июне — Enlightenment 2.0.
Кроме того, в дополнение к большой модели, Zhiyuan также постоянно исследует две другие дороги, ведущие к AGI, «Life Intelligence» и «AI4Science».
В 2022 году Zhiyuan выпустила наиболее точную симуляцию Caenorhabditis elegans. На этот раз Чжиюань открыла платформу моделирования жизни «eVolution-eVolution», используемую при изучении искусственных нематод для предоставления онлайн-услуг.
Tianyan — это сверхкрупномасштабная платформа для моделирования нейронных сетей с четырьмя примечательными особенностями: наиболее эффективная платформа для моделирования тонких нейронных сетей, поддержка сверхкрупномасштабного моделирования нейронных сетей, универсальный набор инструментов для онлайн-моделирования и симуляции, а также Высококачественное визуальное взаимодействие поддерживает моделирование в реальном времени и визуальную совместную работу.
Основанный на платформе Tianyan, он реализует высокоточное моделирование биологического интеллекта, исследует сущность интеллекта и продвигает общий искусственный интеллект, вдохновленный биологией. Кроме того, команда Tianyan подключила Tianyan к экзафлопсному суперкомпьютеру нового поколения моей страны — суперкомпьютеру Tianhe нового поколения.
Благодаря успешному развертыванию и эксплуатации «Тяньян-Тяньхэ» может быть реализовано моделирование тонкой сети зрительной коры мозга мыши V1 и других моделей, а потребление энергии вычислений может быть снижено более чем в 10 раз, а скорость вычислений может быть увеличена. быть увеличено более чем в 10 раз, достигнув самого экстремального в мире. Производительность моделирования тонкой нейронной сети закладывает прочную основу для реализации тонкого моделирования всего человеческого мозга.
Теперь, два года спустя, Zhiyuan снова выпустила серию больших моделей Enlightenment 3.0.
С точки зрения позиционирования, с момента выпуска Enlightenment 2.0 Zhiyuan как некоммерческая платформенная организация не только производит модели и модели, но и постепенно вносит уникальный вклад в построение основной экологии больших моделей.
Среди них он включает в себя сортировку данных за моделью, тестирование модели, тестирование алгоритма, открытый исходный код и открытые организации, а также комплексную компоновку платформ вычислительной мощности.
Почему Чжиюань сделал такое изменение?
Потому что Zhiyuan глубоко понимает, что сама по себе крупная модель — это не самая важная форма продукта в эпоху больших моделей, а новая эра, характеризующаяся систематизацией и интеллектуальными услугами.
В настоящее время большая модель будет продолжать развиваться, а неизменным останется стоящая за ней техническая итерация, то есть алгоритм обучения модели.
Последняя модель, которую вы видите каждый день, — это просто затвердевший результат.Важно то, является ли алгоритм обучения модели продвинутым, эффективно ли снижена стоимость и являются ли возможности, стоящие за этим, объяснимыми и контролируемыми.
Таким образом, Zhiyuan как платформенная организация должна объединить алгоритмы отраслевых моделей обучения в повторяющееся целое.
Эта работа необходима, Чжиюань не только работает над самим алгоритмом крупномасштабной модели, но и тратит больше времени и сил на разработку технической системы крупномасштабной модели.
Например, Zhiyuan запустила крупномасштабную платформу облачных вычислений «Jiuding Smart Computing Platform», чтобы обеспечить вычислительную мощность, данные и поддержку алгоритмов для обучения крупномасштабных моделей.
Конечно, это не только собственная сила Zhiyuan, но и промышленность, университет и научно-исследовательские институты, чтобы сотрудничать и повторять открыто.
В марте этого года Zhiyuan выпустила систему с открытым исходным кодом технологии крупномасштабных моделей FlagOpen Feizhi, которая представляет собой открытую программную систему с открытым исходным кодом для крупномасштабных моделей, созданную совместно с рядом отраслевых, университетских и исследовательских подразделений.
Вы можете спросить, что является самой большой особенностью Чжиюаньской конференции этого года по сравнению с предыдущими?
Стиль последователен, охарактеризован двумя словами: профессиональный и чистый.
Конференция Чжиюань была проведена без каких-либо реальных целей и не обращала внимания на продукты и инвесторов.
Здесь лидеры отрасли могут высказывать личные мнения и выносить суждения с профессиональной точки зрения и, конечно же, включать в себя столкновения и дебаты ведущих мнений, не принимая во внимание множество реальных факторов.
«Крестный отец ИИ» Джеффри Хинтон впервые принял участие в Чжиюаньской конференции в этом году.Некоторое время назад он ушел из Google, потому что сожалел о работе всей своей жизни. Он опубликовал последние взгляды на безопасность искусственного интеллекта.
Как всегда, "оптимист" Янн ЛеКун не будет беспокоиться о рисках искусственного интеллекта, как большинство людей. По его мнению, тормозить до того, как автомобиль будет построен, неразумно. В настоящее время следует приложить усилия для разработки более совершенных технологий искусственного интеллекта. и алгоритмы.
В то же время вы также увидите ожесточенное противостояние взглядов на встрече. Макс Тегмарк о контроле риска ИИ. Хотя нельзя сказать, что он полностью противоположен ЛеКуну, но есть и большие отличия.
Это самая большая изюминка Чжиюаньской конференции, а также последовательный стиль.
Уникальность такого позиционирования становится все более важной в последние годы.
Развитие искусственного интеллекта оказывает все большее влияние на мир и Китай, поэтому каждому нужен повод для выражения своих взглядов в чистом виде, включая идеологические коллизии и горячие споры.
Значение этого состоит в том, что только чем профессиональнее, чище, нейтральнее и открытее конференции, тем благоприятнее для каждого лучше понять такую эпоху быстрого развития.
В зарубежных странах Чжиюаньская конференция также пользуется отличной репутацией.Международные организации рассматривают Чжиюаньскую конференцию как окно для сотрудничества с Китаем в исследованиях искусственного интеллекта.
Происхождение имени Чжиюань также является источником интеллекта. Поэтому проведение Чжиюаньской конференции стало знаковым событием, способствующим экологическому развитию искусственного интеллекта.
Сильный состав гостей, богатство тем и глубина дискуссий по содержанию создали уникальную конференцию Чжиюань.
Это топовое мероприятие, эксклюзивное для экспертов в области искусственного интеллекта, стало яркой визитной карточкой в области искусственного интеллекта в Китае.
Использованная литература: