Эволюция парадигмы обучения ИИ: от централизованного контроля к технической революции децентрализации и сотрудничества
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и самым высоким техническим порогом, что напрямую определяет пределы возможностей моделей и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей «тяжелой промышленностью» в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованная тренировка — это наиболее распространенный традиционный способ, при котором единственное учреждение выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения и программного обеспечения нижнего уровня до системы управления кластером и всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубоко согласованная архитектура позволяет достичь оптимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и управляемыми ресурсами, но в то же время сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в том, чтобы разделить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие физических характеристик «распределённости», в целом оно всё ещё контролируется централизованной организацией, которая управляет координацией и синхронизацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельное выполнение: последовательное выполнение по этапам, увеличение пропускной способности
Тензорное параллельное выполнение: тонкая сегментация матричных вычислений, повышение уровня параллелизма
Распределенное обучение — это комбинация «централизованного контроля + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно управляет несколькими «офисными» сотрудниками для выполнения задач. В настоящее время почти все основные крупные модели обучаются именно таким способом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущем. Его ключевая особенность заключается в том, что несколько взаимно недоверяющих узлов совместно выполняют задачи обучения без централизованного координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимуляции для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности нарезки: высокая сложность координации гетерогенных устройств, низкая эффективность нарезки задач
Отсутствие доверительной среды выполнения: нехватка доверительной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизм отката при исключениях
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но «действительно осуществимая крупномасштабная децентрализация тренировки» по-прежнему является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, протоколы связи, безопасность криптографии, экономические механизмы, валидация моделей и многие другие, но возможность «совместной эффективности + стимуляции честности + корректности результатов» все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными системами и Децентрализацией, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все же зависит от доверенной стороны-координатора, не обладая полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как «контролируемую децентрализацию» в сценариях соблюдения конфиденциальности, где задачи обучения, структуры доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки границы, возможности и реальные пути
С точки зрения обучающей парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридической соблюдаемостью и этическими ограничениями, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешней мотивации участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легких для параллелизации и мотивируемых, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи дообучения, связанные с выравниванием поведения, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и терпимость к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерная архитектура, лежащие в основе этих пяти проектов, а также будут дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализации AI обучения.
Prime Intellect: тренируемая траектория проверяемой усиленной обучающей совместной сети первопроходца
Prime Intellect стремится построить сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сцен, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированный интерфейс. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и создает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между «последовательностью наблюдений ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация сотрудничества сети обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, является основной основой для создания стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллелизме данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместной тренировки модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в учебных задачах, значительно повышая вовлеченность в глобальную кооперацию, что делает его одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной AI-тренировочной среды, предназначенная для решения проблем совместимости традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности тренировочной сети и совместимость устройств, прокладывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создала обучающую сеть, не требующую разрешений, проверяемую и имеющую экономические стимулы, что позволяет любому участвовать в задачах и получать вознаграждение за реальные вклады. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить обучающую среду, начальную модель, функцию вознаграждения и критерии валидации
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и отслеживание траектории
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участие в расчете вознаграждений и агрегации стратегий
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг «реального обучающего поведения».
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 GPU-гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что демонстрирует осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы «обучение равно консенсус». INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию Децентрализация обучающей сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
5
Поделиться
комментарий
0/400
BlockchainBard
· 07-15 23:48
Снова увидел, как группа про играет с накоплением ресурсов.
Посмотреть ОригиналОтветить0
FundingMartyr
· 07-15 13:51
Федеративное обучение, похоже, тоже ненадежно... требует денег и жизни.
Посмотреть ОригиналОтветить0
GasFeeAssassin
· 07-15 13:49
Стимулировать ИИ всё еще нужно полагаться на децентрализацию
Посмотреть ОригиналОтветить0
DefiOldTrickster
· 07-15 13:47
Хе-хе, похоже на то, как в 19 году только начали развиваться Децентрализованные финансы. Скоро все займутся арбитражем.
Посмотреть ОригиналОтветить0
PanicSeller
· 07-15 13:36
Всё это всего лишь бумажный тигр, сколько ещё может быть падение?
Революция в обучении ИИ: от централизованного контроля к Децентрализация сотрудничества и технологической эволюции
Эволюция парадигмы обучения ИИ: от централизованного контроля к технической революции децентрализации и сотрудничества
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и самым высоким техническим порогом, что напрямую определяет пределы возможностей моделей и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей «тяжелой промышленностью» в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание данной статьи.
Централизованная тренировка — это наиболее распространенный традиционный способ, при котором единственное учреждение выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения и программного обеспечения нижнего уровня до системы управления кластером и всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубоко согласованная архитектура позволяет достичь оптимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и управляемыми ресурсами, но в то же время сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в том, чтобы разделить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие физических характеристик «распределённости», в целом оно всё ещё контролируется централизованной организацией, которая управляет координацией и синхронизацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение — это комбинация «централизованного контроля + распределенного выполнения», аналогично тому, как один и тот же начальник удаленно управляет несколькими «офисными» сотрудниками для выполнения задач. В настоящее время почти все основные крупные модели обучаются именно таким способом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущем. Его ключевая особенность заключается в том, что несколько взаимно недоверяющих узлов совместно выполняют задачи обучения без централизованного координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимуляции для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит свои вычислительные мощности для совместной тренировки модели, но «действительно осуществимая крупномасштабная децентрализация тренировки» по-прежнему является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, протоколы связи, безопасность криптографии, экономические механизмы, валидация моделей и многие другие, но возможность «совместной эффективности + стимуляции честности + корректности результатов» все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными системами и Децентрализацией, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все же зависит от доверенной стороны-координатора, не обладая полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как «контролируемую децентрализацию» в сценариях соблюдения конфиденциальности, где задачи обучения, структуры доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки границы, возможности и реальные пути
С точки зрения обучающей парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридической соблюдаемостью и этическими ограничениями, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешней мотивации участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной концепцией. На самом деле, в задачах с легкой структурой, легких для параллелизации и мотивируемых, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи дообучения, связанные с выравниванием поведения, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и терпимость к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерная архитектура, лежащие в основе этих пяти проектов, а также будут дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализации AI обучения.
Prime Intellect: тренируемая траектория проверяемой усиленной обучающей совместной сети первопроходца
Prime Intellect стремится построить сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация тренировочных сцен, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированный интерфейс. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и создает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между «последовательностью наблюдений ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация сотрудничества сети обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, является основной основой для создания стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллелизме данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместной тренировки модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в учебных задачах, значительно повышая вовлеченность в глобальную кооперацию, что делает его одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной AI-тренировочной среды, предназначенная для решения проблем совместимости традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности тренировочной сети и совместимость устройств, прокладывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создала обучающую сеть, не требующую разрешений, проверяемую и имеющую экономические стимулы, что позволяет любому участвовать в задачах и получать вознаграждение за реальные вклады. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг «реального обучающего поведения».
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 GPU-гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, что демонстрирует осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы «обучение равно консенсус». INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию Децентрализация обучающей сети.