Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному ланцюгу вартості ШІ модельне навчання є найресурсомістким та найскладнішим етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагового виклику на етапі інференції, процес навчання потребує безперервних інвестицій у великомасштабні обчислювальні потужності, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке обговорюється в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиним агентом у локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Така глибока координація архітектури забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini тощо, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично існує "розподілена" характеристика, але загалом все ще контролюється централізованою установою, що здійснює управління та синхронізацію, часто працює в середовищі швидкої локальної мережі, завдяки технології NVLink високошвидкісної міжмашинної зв'язку, головний вузол координує всі підзадачі. Основні методи включають:
Дані паралельно: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельне виконання: поетапне серійне виконання, підвищення пропускної здатності
Тензорне паралельне оброблення: детальне розділення матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай за допомогою протоколу, що керує розподілом завдань та співпрацею, і завдяки механізму крипто-стимулів забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та труднощі поділу: висока складність узгодження гетерогенних пристроїв, низька ефективність поділу завдань
Проблеми з ефективністю зв'язку: нестабільність мережевої комунікації, явні проблеми з синхронізацією градієнтів
Відсутність надійного виконання: нестача надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях
Відсутність єдиної координації: без центрального диспетчера, складне розподілення задач та механізми відкату помилок
Децентралізоване тренування можна розуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійснене масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + мотивувати чесність + отримати правильні результати" поки що залишається на етапі раннього прототипування.
Федеративне навчання, як перехідна форма між дистрибуцією та Децентралізація, підкреслює локальне зберігання даних та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на відповідності вимогам щодо конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальну кооперативну здатність, одночасно володіючи перевагами дистрибутивного навчання з розподіленими даними, але все ж залежить від надійної координуючої сторони і не має повністю відкритих та антицензурних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням в умовах відповідності вимогам щодо конфіденційності, яке є відносно м'яким у навчальних завданнях, структурах довіри та механізмах зв'язку, що робить його більш придатним як перехідну архітектуру для промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, важко ефективно розподілити та синхронізувати в відкритій мережі; завдання, що підлягають строгим обмеженням з приводу конфіденційності даних та суверенітету, обмежені юридичними вимогами та етичними нормами, не можуть бути відкритими для спільного використання; а завдання, які не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, в структурах легкого ваги, які легко паралелізуються і можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Включно, але не обмежуючись: LoRA донастройка, завдання після навчання, пов'язані з поведінкою, ) такі як RLHF, DPO (, завдання з навчання та маркування даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
![Святе Грааль Crypto AI: Децентралізація тренування на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували чимало оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи сучасні теоретичні напрямки; тоді як Gensyn та Flock.io мають відносно чіткий шлях реалізації, вже можна побачити початкові інженерні досягнення. У цій статті будуть поетапно розглянуті ключові технології та інженерні архітектури, що стоять за цими п’ятьма проектами, а також буде детально обговорено їхні відмінності та взаємодоповнюючі зв’язки у децентралізованій системі навчання ШІ.
) Prime Intellect: Тренувальні траєкторії, що підлягають верифікації, посилене навчання, співпраця, мережа попередників
Prime Intellect прагне побудувати мережу навчання штучного інтелекту, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання штучного інтелекту з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключова модульна цінність протоколу Prime Intellect
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріпленого навчання з розділенням
PRIME-RL є фреймворком для моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, міркування та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC###Достовірне спостереження та перевірка політики-локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обрахунок цілого моделі, а здійснює верифікацію легковажної структури шляхом аналізу локальної узгодженості траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації розподілу винагороди за навчання без необхідності довіри, забезпечуючи можливий шлях для побудови аудитованих, заохочувальних мереж децентралізованого співпраці в навчанні.
#SHARDCAST: Асинхронна вага агрегації та поширення протоколу
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених по смузі та з мінливою станом вузлів реальних мережевих середовищ. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронного стану, досягаючи прогресивної конвергенції ваг та еволюції з кількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралельній обробці даних, створюючи розріджені топологічні структури, такі як Кільце, Розширювач, Малосвіт, що дозволяє уникнути високих витрат на комунікацію з глобальною синхронізацією, покладаючись лише на сусідні вузли для завершення кооперативного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої мережі навчання.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, спеціально створеною Prime Intellect для децентралізованого навчального середовища AI, що має на меті вирішення адаптаційних вузьких місць традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з місця зупинки, може працювати на споживчих GPU та нестабільних вузлах, є підставовим компонентом для підтримки асинхронних можливостей зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності тренувальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної основи для створення справді відкритих, без довіри кооперативних навчальних мереж.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував бездозвільну, перевіряльну, з економічними інcentивами мережу тренування, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів перевірки
Тренувальні вузли: виконання локального навчання, подача оновлень ваг та спостереження за траєкторією
Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участі в розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, формуючи інвестиційний замкнутий цикл навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2: перше перевірене видання децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, що була створена за допомогою асинхронного, бездокументного Децентралізація співпраці вузлів. Обсяг параметрів становить 32B. Модель INTELLECT-2 була завершена спільною тренуванням понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє доцільність і стабільність асинхронної мережі співпраці. Ця модель не лише є проривом у продуктивності, але й представляє Prime Intellect.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
14 лайків
Нагородити
14
6
Поділіться
Прокоментувати
0/400
FudVaccinator
· 07-22 12:29
Отже, великі кошти всі зосереджені в централізованих руках.
Переглянути оригіналвідповісти на0
MissedAirdropBro
· 07-20 13:31
Знову одна порція аналізу, втомився.
Переглянути оригіналвідповісти на0
ZenChainWalker
· 07-20 10:38
Хто позичить мені кілька 3090 для моделювання
Переглянути оригіналвідповісти на0
OldLeekConfession
· 07-20 10:38
Добре, це ж просто бігова доріжка з розумним управлінням!
Децентралізація AI тренування: Prime Intellect створює перевірювальну кооперативну мережу
Святий Грааль Crypto AI: передові дослідження децентралізованого навчання
У повному ланцюгу вартості ШІ модельне навчання є найресурсомістким та найскладнішим етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичну ефективність застосування. На відміну від легковагового виклику на етапі інференції, процес навчання потребує безперервних інвестицій у великомасштабні обчислювальні потужності, складні процеси обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке обговорюється в цій статті.
Централізоване навчання є найпоширенішим традиційним способом, яке виконується єдиним агентом у локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Така глибока координація архітектури забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini тощо, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним методом навчання великих моделей сьогодні, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично існує "розподілена" характеристика, але загалом все ще контролюється централізованою установою, що здійснює управління та синхронізацію, часто працює в середовищі швидкої локальної мережі, завдяки технології NVLink високошвидкісної міжмашинної зв'язку, головний вузол координує всі підзадачі. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів" для спільного виконання завдання. Наразі майже всі основні великі моделі навчаються таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай за допомогою протоколу, що керує розподілом завдань та співпрацею, і завдяки механізму крипто-стимулів забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізоване тренування можна розуміти як: група глобальних волонтерів, які спільно вносять обчислювальні потужності для тренування моделі, але "справді здійснене масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + мотивувати чесність + отримати правильні результати" поки що залишається на етапі раннього прототипування.
Федеративне навчання, як перехідна форма між дистрибуцією та Децентралізація, підкреслює локальне зберігання даних та централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують на відповідності вимогам щодо конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальну кооперативну здатність, одночасно володіючи перевагами дистрибутивного навчання з розподіленими даними, але все ж залежить від надійної координуючої сторони і не має повністю відкритих та антицензурних характеристик. Це можна вважати "контрольованим децентралізованим" рішенням в умовах відповідності вимогам щодо конфіденційності, яке є відносно м'яким у навчальних завданнях, структурах довіри та механізмах зв'язку, що робить його більш придатним як перехідну архітектуру для промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, важко ефективно розподілити та синхронізувати в відкритій мережі; завдання, що підлягають строгим обмеженням з приводу конфіденційності даних та суверенітету, обмежені юридичними вимогами та етичними нормами, не можуть бути відкритими для спільного використання; а завдання, які не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, в структурах легкого ваги, які легко паралелізуються і можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. Включно, але не обмежуючись: LoRA донастройка, завдання після навчання, пов'язані з поведінкою, ) такі як RLHF, DPO (, завдання з навчання та маркування даних з краудсорсингом, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші методи.
![Святе Грааль Crypto AI: Децентралізація тренування на передовій досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували чимало оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи сучасні теоретичні напрямки; тоді як Gensyn та Flock.io мають відносно чіткий шлях реалізації, вже можна побачити початкові інженерні досягнення. У цій статті будуть поетапно розглянуті ключові технології та інженерні архітектури, що стоять за цими п’ятьма проектами, а також буде детально обговорено їхні відмінності та взаємодоповнюючі зв’язки у децентралізованій системі навчання ШІ.
) Prime Intellect: Тренувальні траєкторії, що підлягають верифікації, посилене навчання, співпраця, мережа попередників
Prime Intellect прагне побудувати мережу навчання штучного інтелекту, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання штучного інтелекту з підтверджуваністю, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура та ключова модульна цінність протоколу Prime Intellect
![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL: Архітектура завдань асинхронного підкріпленого навчання з розділенням
PRIME-RL є фреймворком для моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, міркування та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів і еволюції стратегій.
#TOPLOC:Легка перевірка поведінки тренування
TOPLOC###Достовірне спостереження та перевірка політики-локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обрахунок цілого моделі, а здійснює верифікацію легковажної структури шляхом аналізу локальної узгодженості траєкторій між "послідовністю спостережень ↔ оновленням стратегії". Вперше він перетворює траєкторії поведінки під час навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації розподілу винагороди за навчання без необхідності довіри, забезпечуючи можливий шлях для побудови аудитованих, заохочувальних мереж децентралізованого співпраці в навчанні.
#SHARDCAST: Асинхронна вага агрегації та поширення протоколу
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим спеціально для асинхронних, обмежених по смузі та з мінливою станом вузлів реальних мережевих середовищ. Він поєднує механізм розповсюдження gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронного стану, досягаючи прогресивної конвергенції ваг та еволюції з кількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв і нестабільність вузлів, які часто виникають під час децентралізованого навчання. Його архітектура базується на паралельній обробці даних, створюючи розріджені топологічні структури, такі як Кільце, Розширювач, Малосвіт, що дозволяє уникнути високих витрат на комунікацію з глобальною синхронізацією, покладаючись лише на сусідні вузли для завершення кооперативного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої мережі навчання.
#PCCL:Бібліотека спільного зв'язку
PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, спеціально створеною Prime Intellect для децентралізованого навчального середовища AI, що має на меті вирішення адаптаційних вузьких місць традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з місця зупинки, може працювати на споживчих GPU та нестабільних вузлах, є підставовим компонентом для підтримки асинхронних можливостей зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності тренувальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної основи для створення справді відкритих, без довіри кооперативних навчальних мереж.
)# 03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував бездозвільну, перевіряльну, з економічними інcentивами мережу тренування, що дозволяє будь-кому брати участь у завданнях і отримувати винагороди на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, формуючи інвестиційний замкнутий цикл навколо "реальної навчальної поведінки".
![Святий Грааль Crypto AI: Децентралізація тренування на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04、INTELLECT-2: перше перевірене видання децентралізованої навчальної моделі
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, що була створена за допомогою асинхронного, бездокументного Децентралізація співпраці вузлів. Обсяг параметрів становить 32B. Модель INTELLECT-2 була завершена спільною тренуванням понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє доцільність і стабільність асинхронної мережі співпраці. Ця модель не лише є проривом у продуктивності, але й представляє Prime Intellect.