Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повній ціннісній ланцюгу ШІ, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає верхню межу здатності моделі та ефективність її практичного застосування. На відміну від легковагових викликів на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальних потужностей, складних процесів обробки даних і високонавантажених алгоритмів оптимізації, що є справжньою "важкою промисловістю" у побудові систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним методом, який здійснюється єдиною установою на локальних високопродуктивних кластерах, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластерами до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибоко скоординована архітектура забезпечує максимальну ефективність обміну пам'яттю, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT, Gemini та ін., з перевагами високої ефективності та контрольованих ресурсів, але в той же час існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним методом навчання великих моделей в даний час, його суть полягає в розподілі завдань навчання моделі після їх розбиття на частини, які виконуються спільно на кількох машинах, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично має "дистрибутивні" характеристики, загалом все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі швидких локальних мереж, через технологію швидкої міжмашинної шини NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол тренує різні дані, параметри спільні, потрібно співвіднести ваги моделі
Модельне паралелізування: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельні канали: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорне паралельне обчислення: тонке розділення матричних розрахунків, підвищення паралельної гранулярності
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів", щоб виконати завдання. Наразі майже всі основні великі моделі навчаються таким способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури майбутній шлях. Його основною характеристикою є: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, очевидне вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: брак надійного середовища виконання, важко перевірити, чи дійсно вузол бере участь у обчисленні
Відсутність єдиного координаційного центру: немає центрального диспетчера, складні механізми розподілу завдань і відкату в разі помилок
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійсненне масове децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим і децентралізованим підходом підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сцен, де акцентується на відповідності вимогам конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні можливості співпраці, одночасно маючи переваги розподілу даних децентралізованого навчання, але все ж покладається на надійного координатора і не має повністю відкритих та антицензурних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в умовах відповідності вимогам конфіденційності, яке є відносно м'яким у задачах навчання, структурах довіри та комунікаційних механізмах, що робить його більш підходящим як перехідну архітектуру для промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання на гетерогенних, бездоверених вузлах. Наприклад, навчання великих моделей часто залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкритими для спільного використання; а завдання, які не мають основи для співпраці, не мають зовнішньої мотивації для участі. Ці межі разом формують реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є нонсенсом. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: мікронастройка LoRA, завдання після навчання з поведінковою прив'язкою, навчання та розмітка даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв’язаність і допускають гетерогенну обчислювальну потужність, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші засоби.
Децентралізація тренування класичних проектів аналіз
Наразі в передових сферах децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п’ятьма проектами, а також далі обговорюватимуться їхні відмінності та взаємодоповнюючі відносини в децентралізованій системі навчання AI.
Prime Intellect: Тренувальна траєкторія може бути перевірена, підсилене навчання, колективні мережі, попередники
Prime Intellect прагне створити мережу навчання штучного інтелекту без необхідності у довірі, що дозволяє кожному брати участь у навчанні та отримувати достовірні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання штучного інтелекту з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка буде мати верифікацію, відкритість та повноцінний механізм стимулювання.
Структура стеку протоколу Prime Intellect та цінність ключових модулів
Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура задач для асинхронного підкріпленого навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізація навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплене навчання як переважний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання під контролем, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого управління, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання кількох завдань та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторне обчислення всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгодженість між "послідовність спостережень ↔ оновлення стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без необхідності довіри, надаючи реальний шлях для створення аудиторської, стимулюючої децентралізованої мережі співпраці в навчанні.
SHARDCAST: асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом важливості поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм поширення gossip та локальну синхронізацію, дозволяючи кільком вузлам безперервно подавати часткові оновлення у несинхронізованому стані, реалізуючи поступову конвергенцію важливості та еволюцію з кількома версіями. На відміну від централізованих або синхронізованих методів AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу важливості та безперервних ітерацій навчання.
OpenDiLoCo – це фреймворк оптимізації зв'язку з відкритим вихідним кодом, незалежно реалізований командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, яка розроблена для вирішення поширених проблем обмеження пропускної здатності, неоднорідності пристрою та нестабільності вузлів у децентралізованому навчанні. Архітектура базується на паралелізмі даних, і завдяки побудові розріджених топологій, таких як Ring, Expander і Small-World, вона уникає високих витрат на зв'язок при глобальній синхронізації, і покладається лише на локальні сусідні вузли для завершення спільного навчання моделі. У поєднанні з асинхронним оновленням і механізмом відмовостійкості точок зупину, OpenDiLoCo дозволяє графічним процесорам і периферійним пристроям споживчого класу стабільно брати участь у навчальних завданнях, значно покращуючи участь у глобальному спільному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, метою якої є вирішення проблеми адаптації традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв та низькошвидкісних мереж. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності та сумісність пристроїв навчальної мережі, прокладаючи "остання милю" комунікаційної інфраструктури для створення справжньої відкритої, бездоверчої мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував бездозвільну, перевірену, з економічними стимулюваннями мережу навчання, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг та спостережувальних траєкторій
Вузли перевірки: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участі у розрахунку винагород і агрегації стратегій
Основний процес угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг та виплату винагород, що формує стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
INTELLECT-2:Перший верифікований децентралізований навчальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, яка була навчена за допомогою асинхронних, бездоверених децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, а тривалість навчання перевищила 400 годин, що продемонструвало життєздатність і стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перший раз, коли децентралізована навчальна мережа реалізувала відкритість, верифікацію та економічні стимули в навчальному процесі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
13 лайків
Нагородити
13
5
Поділіться
Прокоментувати
0/400
CoffeeNFTrader
· 07-19 09:06
Просто пішов у центр на тренування, і це було самотньо.
Переглянути оригіналвідповісти на0
quiet_lurker
· 07-19 03:19
Ще одна яма, в яку я потрапив два роки тому.
Переглянути оригіналвідповісти на0
NftRegretMachine
· 07-16 14:18
Від великого спектра Обчислювальна потужність така велика, як можна ще сподіватися на Децентралізацію?
Переглянути оригіналвідповісти на0
OnChainDetective
· 07-16 14:14
Обчислювальна потужність великих інвесторів - це все адреси організацій, ланцюг за ними занадто підозрілий.
Дослідження Децентралізації AI тренування: від технічних викликів до практичних піонерів
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повній ціннісній ланцюгу ШІ, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає верхню межу здатності моделі та ефективність її практичного застосування. На відміну від легковагових викликів на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальних потужностей, складних процесів обробки даних і високонавантажених алгоритмів оптимізації, що є справжньою "важкою промисловістю" у побудові систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документа.
Централізоване навчання є найпоширенішим традиційним методом, який здійснюється єдиною установою на локальних високопродуктивних кластерах, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластерами до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибоко скоординована архітектура забезпечує максимальну ефективність обміну пам'яттю, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT, Gemini та ін., з перевагами високої ефективності та контрольованих ресурсів, але в той же час існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризиків єдиної точки.
Розподілене навчання є основним методом навчання великих моделей в даний час, його суть полягає в розподілі завдань навчання моделі після їх розбиття на частини, які виконуються спільно на кількох машинах, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично має "дистрибутивні" характеристики, загалом все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі швидких локальних мереж, через технологію швидкої міжмашинної шини NVLink, головний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів", щоб виконати завдання. Наразі майже всі основні великі моделі навчаються таким способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури майбутній шлях. Його основною характеристикою є: кілька недовірливих вузлів спільно виконують завдання тренування без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійсненне масове децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримати правильний результат" все ще перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим і децентралізованим підходом підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сцен, де акцентується на відповідності вимогам конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні можливості співпраці, одночасно маючи переваги розподілу даних децентралізованого навчання, але все ж покладається на надійного координатора і не має повністю відкритих та антицензурних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в умовах відповідності вимогам конфіденційності, яке є відносно м'яким у задачах навчання, структурах довіри та комунікаційних механізмах, що робить його більш підходящим як перехідну архітектуру для промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або велику складність співпраці, воно природно не підходить для ефективного виконання на гетерогенних, бездоверених вузлах. Наприклад, навчання великих моделей часто залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильними обмеженнями конфіденційності даних та суверенітету обмежені юридичними вимогами та етичними обмеженнями, не можуть бути відкритими для спільного використання; а завдання, які не мають основи для співпраці, не мають зовнішньої мотивації для участі. Ці межі разом формують реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є нонсенсом. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Сюди входять, але не обмежуються: мікронастройка LoRA, завдання після навчання з поведінковою прив'язкою, навчання та розмітка даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв’язаність і допускають гетерогенну обчислювальну потужність, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші засоби.
Децентралізація тренування класичних проектів аналіз
Наразі в передових сферах децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє сучасні теоретичні дослідження; в той час як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури за цими п’ятьма проектами, а також далі обговорюватимуться їхні відмінності та взаємодоповнюючі відносини в децентралізованій системі навчання AI.
Prime Intellect: Тренувальна траєкторія може бути перевірена, підсилене навчання, колективні мережі, попередники
Prime Intellect прагне створити мережу навчання штучного інтелекту без необхідності у довірі, що дозволяє кожному брати участь у навчанні та отримувати достовірні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання штучного інтелекту з трьома основними модулями: PRIME-RL + TOPLOC + SHARDCAST, яка буде мати верифікацію, відкритість та повноцінний механізм стимулювання.
Структура стеку протоколу Prime Intellect та цінність ключових модулів
Детальний опис ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура задач для асинхронного підкріпленого навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим Prime Intellect для Децентралізація навчальних сценаріїв, спеціально створеним для гетерогенних мереж та асинхронних учасників. Він використовує підкріплене навчання як переважний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання під контролем, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого управління, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання кількох завдань та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення того, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторне обчислення всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгодженість між "послідовність спостережень ↔ оновлення стратегії". Вперше він перетворює поведінкові траєкторії в процесі навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без необхідності довіри, надаючи реальний шлях для створення аудиторської, стимулюючої децентралізованої мережі співпраці в навчанні.
SHARDCAST: асинхронна агрегація ваг та протокол поширення
SHARDCAST є протоколом важливості поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм поширення gossip та локальну синхронізацію, дозволяючи кільком вузлам безперервно подавати часткові оновлення у несинхронізованому стані, реалізуючи поступову конвергенцію важливості та еволюцію з кількома версіями. На відміну від централізованих або синхронізованих методів AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу важливості та безперервних ітерацій навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo – це фреймворк оптимізації зв'язку з відкритим вихідним кодом, незалежно реалізований командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, яка розроблена для вирішення поширених проблем обмеження пропускної здатності, неоднорідності пристрою та нестабільності вузлів у децентралізованому навчанні. Архітектура базується на паралелізмі даних, і завдяки побудові розріджених топологій, таких як Ring, Expander і Small-World, вона уникає високих витрат на зв'язок при глобальній синхронізації, і покладається лише на локальні сусідні вузли для завершення спільного навчання моделі. У поєднанні з асинхронним оновленням і механізмом відмовостійкості точок зупину, OpenDiLoCo дозволяє графічним процесорам і периферійним пристроям споживчого класу стабільно брати участь у навчальних завданнях, значно покращуючи участь у глобальному спільному навчанні, і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, розробленою Prime Intellect для децентралізованого середовища навчання штучного інтелекту, метою якої є вирішення проблеми адаптації традиційних комунікаційних бібліотек в умовах гетерогенних пристроїв та низькошвидкісних мереж. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності та сумісність пристроїв навчальної мережі, прокладаючи "остання милю" комунікаційної інфраструктури для створення справжньої відкритої, бездоверчої мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував бездозвільну, перевірену, з економічними стимулюваннями мережу навчання, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Основний процес угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг та виплату винагород, що формує стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
INTELLECT-2:Перший верифікований децентралізований навчальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, яка була навчена за допомогою асинхронних, бездоверених децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, а тривалість навчання перевищила 400 годин, що продемонструвало життєздатність і стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перший раз, коли децентралізована навчальна мережа реалізувала відкритість, верифікацію та економічні стимули в навчальному процесі.