Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных мощностей, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются одним учреждением на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов учебной платформы, которые координируются единой управляющей системой. Эта глубоко скоординированная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемости ресурсов. Однако она также сталкивается с такими проблемами, как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задач по обучению модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на физическое наличие "распределенных" характеристик, в целом все еще контролируется и синхронизируется централизованным учреждением, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает различные данные, параметры делятся, необходимо согласовать веса модели
Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение уровня параллелизма
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно руководит сотрудничеством нескольких сотрудников в различных "офисах" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и антикоррупционный путь в будущем. Его ключевые характеристики заключаются в том, что: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптоощущения, обеспечивающих честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности деления: высокая сложность координации гетерогенных устройств, низкая эффективность деления задач
Узкие места в эффективности связи: нестабильная сетевая связь, явные узкие места в синхронизации градиентов
Недостаток доверительного выполнения: отсутствие доверительной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката при исключениях.
Децентрализация обучения можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительные мощности для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация обучения" все еще представляет собой системную инженерную задачу, которая затрагивает множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., однако возможность "совместной эффективности + стимуляция честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способность к локальной кооперации, одновременно обладая преимуществами распределенных данных при Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными свойствами. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягким подходом к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и сильными ограничениями суверенитета, подвержены юридическим и этическим ограничениям, что делает невозможным их открытое распределение; а задачи, которые не имеют основы для сотрудничества, страдают от недостатка внешнего стимула для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является фикцией. На самом деле, в задачах с легкой структурой, легких для параллелизации и с возможностью стимулирования, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения, задачи сборки и аннотирования данных, обучение небольших базовых моделей с контролем ресурсов, а также сценарии совместной тренировки с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают в себя Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и можно увидеть первоначальные инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно рассмотрена их разница и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: Тренировочные траектории могут быть проверены в сети кооперативного обучения с подкреплением.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стека протоколов Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк для моделирования и выполнения задач, разработанный Prime Intellect для децентрализованных тренировочных сценариев, специально предназначенный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать цикл задач на локальном уровне и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории во время процесса обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация кооперативной обучающей сети.
SHARDCAST: Протокол асинхронной агрегации весов и распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронной, ограниченной по пропускной способности и изменяющейся по состоянию узлов реальной сетевой среды. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях рассинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения и является основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто встречающихся в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, с помощью построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь лишь на локальные соседние узлы для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая участие в глобальном совместном обучении, что делает его одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, специально разработанная Prime Intellect для децентрализованной среды обучения ИИ, которая предназначена для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности и совместимость устройств в обучающих сетях, открывая "последнюю милю" коммуникационной инфраструктуры для построения по-настоящему открытых, не требующих доверия, сетей совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешений, проверяемую и обладающую экономическими стимулами, что позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение обучающей среды, начальной модели, функции награды и стандартов валидации
Участвующие узлы: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Верификационные узлы: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, создавая стимульный замкнутый круг вокруг "реального обучающего поведения".
INTELLECT-2:Первый верифицируемый Децентрализация тренажерный модельный выпуск
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, децентрализованных узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первым системным воплощением предложенной Prime Intellect парадигмы "обучение как консенсус". INTELLECT-2 интегрирует такие ключевые протокольные модули, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верифицируемости и экономических стимулов в процессе обучения децентрализованной сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
5
Поделиться
комментарий
0/400
CoffeeNFTrader
· 07-19 09:06
Просто пошел в центр и тренировал одиночество.
Посмотреть ОригиналОтветить0
quiet_lurker
· 07-19 03:19
Еще одна ловушка, в которую я попался два года назад.
Исследование Децентрализации AI обучения: от технических вызовов до практических пионеров
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных мощностей, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются одним учреждением на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов учебной платформы, которые координируются единой управляющей системой. Эта глубоко скоординированная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемости ресурсов. Однако она также сталкивается с такими проблемами, как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задач по обучению модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на физическое наличие "распределенных" характеристик, в целом все еще контролируется и синхронизируется централизованным учреждением, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник дистанционно руководит сотрудничеством нескольких сотрудников в различных "офисах" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и антикоррупционный путь в будущем. Его ключевые характеристики заключаются в том, что: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптоощущения, обеспечивающих честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понимать как: группа глобальных волонтеров, которые совместно вносят вычислительные мощности для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация обучения" все еще представляет собой системную инженерную задачу, которая затрагивает множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., однако возможность "совместной эффективности + стимуляция честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение имеет инженерную структуру распределенного обучения и способность к локальной кооперации, одновременно обладая преимуществами распределенных данных при Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными свойствами. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягким подходом к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет их эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и сильными ограничениями суверенитета, подвержены юридическим и этическим ограничениям, что делает невозможным их открытое распределение; а задачи, которые не имеют основы для сотрудничества, страдают от недостатка внешнего стимула для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является фикцией. На самом деле, в задачах с легкой структурой, легких для параллелизации и с возможностью стимулирования, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения, задачи сборки и аннотирования данных, обучение небольших базовых моделей с контролем ресурсов, а также сценарии совместной тренировки с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают в себя Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и можно увидеть первоначальные инженерные достижения. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно рассмотрена их разница и взаимодополняющие отношения в системе децентрализованного AI-обучения.
Prime Intellect: Тренировочные траектории могут быть проверены в сети кооперативного обучения с подкреплением.
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стека протоколов Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк для моделирования и выполнения задач, разработанный Prime Intellect для децентрализованных тренировочных сценариев, специально предназначенный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать цикл задач на локальном уровне и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. В отличие от традиционных процессов обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории во время процесса обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计,可激励的 Децентрализация кооперативной обучающей сети.
SHARDCAST: Протокол асинхронной агрегации весов и распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронной, ограниченной по пропускной способности и изменяющейся по состоянию узлов реальной сетевой среды. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях рассинхронизации, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения и является основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, разработанным командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто встречающихся в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, с помощью построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь лишь на локальные соседние узлы для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая участие в глобальном совместном обучении, что делает его одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, специально разработанная Prime Intellect для децентрализованной среды обучения ИИ, которая предназначена для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает толерантность к пропускной способности и совместимость устройств в обучающих сетях, открывая "последнюю милю" коммуникационной инфраструктуры для построения по-настоящему открытых, не требующих доверия, сетей совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect построил сеть обучения, не требующую разрешений, проверяемую и обладающую экономическими стимулами, что позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, создавая стимульный замкнутый круг вокруг "реального обучающего поведения".
INTELLECT-2:Первый верифицируемый Децентрализация тренажерный модельный выпуск
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, децентрализованных узлов. Размер параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только представляет собой прорыв в производительности, но и является первым системным воплощением предложенной Prime Intellect парадигмы "обучение как консенсус". INTELLECT-2 интегрирует такие ключевые протокольные модули, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верифицируемости и экономических стимулов в процессе обучения децентрализованной сети.