Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной ценностной цепочке ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, при котором весь процесс обучения выполняется единственным учреждением на локальном высокопроизводительном кластере, от аппаратного обеспечения, нижнего программного обеспечения, системы управления кластером до всех компонентов обучающей структуры, которые координируются единым контрольным механизмом. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, однако одновременно существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически имеет "Децентрализация" характеристики, в целом все еще контролируется централизованным органом для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо соответствие весам модели
Модельная параллельность: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные трубопроводы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, увеличение параллельной гранулярности
Распределённое обучение является комбинацией "централизованного управления + распределённого исполнения", аналогично тому, как один и тот же начальник удалённо координирует сотрудников нескольких "офисов" для выполнения задач. На данный момент почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и антикоррупционную будущую траекторию. Ее ключевыми характеристиками являются: несколько недоверительных узлов (, которые могут быть домашними компьютерами, облачными GPU или периферийными устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием криптостимулов для обеспечения добросовестности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенного выполнения: недостаток доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, распределение задач, механизм отката исключений сложный
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая массовая децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей несколько уровней, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т.д., но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и способность к локальному сотрудничеству, в то же время обладая преимуществами распределенных данных в Децентрализация, однако по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленного сектора.
Децентрализация: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими рамками, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешних стимулов для участия. Эти границы в совокупности составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллельностью и стимулирующим характером, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: микротренировка LoRA, задачи постобучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, задачи обучения и аннотирования с помощью краудсорсинга данных, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов
В настоящее время в передовых областях децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальный прогресс в инженерии. В этой статье будут последовательно проанализированы ключевые технологии и инженерная архитектура этих пяти проектов, а также дальнейшее обсуждение их различий и взаимодополняющих отношений в системе децентрализованного AI обучения.
) Prime Intellect: Проверяемые траектории обучения в сетях совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является моделью задач и системой исполнения, разработанной Prime Intellect для Децентрализации тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно разделяя процессы тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без центрального управления, снижая сложность системы и закладывая основу для поддержки параллельных многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC###Доверительное Наблюдение и Проверка Политики-Локальности( является основной механизмом верификации обучения, предложенным Prime Intellect, который используется для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдательных данных. В отличие от громоздких решений, таких как ZKML, TOPLOC не зависит от повторных расчетов всей модели, а вместо этого осуществляет верификацию легковесной структуры, анализируя локально согласованные траектории между "наблюдательными последовательностями ↔ обновлениями стратегий". Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计,可激励的 Децентрализация сотрудничества в обучении.
#SHARDCAST: Асинхронная агрегированная и распространенная протокол权重
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям в условиях Децентрализация, что является основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, основанного на концепции DiLoCo, предложенной командой Prime Intellect на основе DeepMind. Он специально разработан для решения общих проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, а с помощью построения разреженных топологий, таких как Ring, Expander, Small-World, удается избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая возможность участия в глобальном совместном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
#PCCL:Библиотека совместной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect для децентрализованной среды обучения ИИ, направленной на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольных точек, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Это значительно увеличивает толерантность сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для создания действительно открытой и доверительной сети совместного обучения.
)# 03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создала сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, что позволяет любому участвовать в заданиях и получать вознаграждение за реальные вклады. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарт валидации
Узел обучения: выполнение локального обучения, отправка обновлений веса и наблюдаемых траекторий
Узлы верификации: использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждений и агрегации стратегий.
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг "реального обучающего поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализованной модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, децентрализованных узлов. Объем параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и представляет собой Prime Intellect.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
14 Лайков
Награда
14
6
Репост
Поделиться
комментарий
0/400
FudVaccinator
· 07-22 12:29
Так большие средства находятся в руках централизованных структур.
Посмотреть ОригиналОтветить0
MissedAirdropBro
· 07-20 13:31
Снова разбор анализа, устал.
Посмотреть ОригиналОтветить0
ZenChainWalker
· 07-20 10:38
Кто одолжит мне несколько видеокарт 3090 для моделирования?
Децентрализация AI тренировки: Prime Intellect создает проверяемую кооперативную сеть
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной ценностной цепочке ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, при котором весь процесс обучения выполняется единственным учреждением на локальном высокопроизводительном кластере, от аппаратного обеспечения, нижнего программного обеспечения, системы управления кластером до всех компонентов обучающей структуры, которые координируются единым контрольным механизмом. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, однако одновременно существуют проблемы монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически имеет "Децентрализация" характеристики, в целом все еще контролируется централизованным органом для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение является комбинацией "централизованного управления + распределённого исполнения", аналогично тому, как один и тот же начальник удалённо координирует сотрудников нескольких "офисов" для выполнения задач. На данный момент почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и антикоррупционную будущую траекторию. Ее ключевыми характеристиками являются: несколько недоверительных узлов (, которые могут быть домашними компьютерами, облачными GPU или периферийными устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием криптостимулов для обеспечения добросовестности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая массовая децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей несколько уровней, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т.д., но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение имеет инженерную структуру распределенного обучения и способность к локальному сотрудничеству, в то же время обладая преимуществами распределенных данных в Децентрализация, однако по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленного сектора.
Децентрализация: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими рамками, что делает невозможным открытое совместное использование; а задачи, которые не имеют основы для сотрудничества, лишены внешних стимулов для участия. Эти границы в совокупности составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллельностью и стимулирующим характером, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: микротренировка LoRA, задачи постобучения, связанные с выравниванием поведения ), такие как RLHF, DPO (, задачи обучения и аннотирования с помощью краудсорсинга данных, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки классических проектов
В настоящее время в передовых областях децентрализованного обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальный прогресс в инженерии. В этой статье будут последовательно проанализированы ключевые технологии и инженерная архитектура этих пяти проектов, а также дальнейшее обсуждение их различий и взаимодополняющих отношений в системе децентрализованного AI обучения.
) Prime Intellect: Проверяемые траектории обучения в сетях совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является моделью задач и системой исполнения, разработанной Prime Intellect для Децентрализации тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно разделяя процессы тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без центрального управления, снижая сложность системы и закладывая основу для поддержки параллельных многозадач и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения тренировки
TOPLOC###Доверительное Наблюдение и Проверка Политики-Локальности( является основной механизмом верификации обучения, предложенным Prime Intellect, который используется для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдательных данных. В отличие от громоздких решений, таких как ZKML, TOPLOC не зависит от повторных расчетов всей модели, а вместо этого осуществляет верификацию легковесной структуры, анализируя локально согласованные траектории между "наблюдательными последовательностями ↔ обновлениями стратегий". Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计,可激励的 Децентрализация сотрудничества в обучении.
#SHARDCAST: Асинхронная агрегированная и распространенная протокол权重
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к сбоям в условиях Децентрализация, что является основным фундаментом для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Редкий асинхронный коммуникационный фреймворк
OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, основанного на концепции DiLoCo, предложенной командой Prime Intellect на основе DeepMind. Он специально разработан для решения общих проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, а с помощью построения разреженных топологий, таких как Ring, Expander, Small-World, удается избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая возможность участия в глобальном совместном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
#PCCL:Библиотека совместной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой связи, созданной Prime Intellect для децентрализованной среды обучения ИИ, направленной на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольных точек, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Это значительно увеличивает толерантность сети к пропускной способности и совместимость устройств, открывая "последнюю милю" связи для создания действительно открытой и доверительной сети совместного обучения.
)# 03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создала сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, что позволяет любому участвовать в заданиях и получать вознаграждение за реальные вклады. Протокол функционирует на основе трех основных ролей:
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг "реального обучающего поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализованной модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, децентрализованных узлов. Объем параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и представляет собой Prime Intellect.