Еволюція доступу до даних Web3: огляд індексаторів та пов'язаних проектів

У технології блокчейн дані відіграють надзвичайно важливу роль і є основою для розробки децентралізованих додатків. Хоча наразі обговорення в основному зосереджено на доступності даних, доступність даних також є важливою, але часто ігнорується.

В епоху модульних блокчейнів рішення з доступності даних стали незамінними. Вони забезпечують можливість всім учасникам користуватися транзакційними даними, що дозволяє здійснювати їхню перевірку в реальному часі та підтримувати цілісність мережі. Однак, рівень доступності даних більше нагадує рекламний щит, ніж базу даних; дані не зберігаються безкінечно, а з часом видаляються.

У порівнянні, доступність даних зосереджена на здатності отримувати історичні дані, що є критично важливим для розробки децентралізованих додатків і проведення аналізу блокчейну. Незважаючи на те, що про це говорять рідше, доступність даних є настільки ж важливою, як і їхня доступність. Обидва аспекти відіграють різні, але взаємодоповнюючі ролі в екосистемі блокчейну, тому всебічний підхід до управління даними повинен одночасно вирішувати ці дві проблеми, щоб підтримувати потужні та ефективні блокчейн-додатки.

Від свого народження блокчейн кардинально змінив інфраструктуру, сприяв створенню децентралізованих додатків у таких сферах, як ігри, фінанси та соціальні мережі. Однак для побудови цих додатків необхідно отримати доступ до величезної кількості даних блокчейну, що є як складним, так і дорогим.

Для розробників одним із варіантів є хостинг та запуск власного архівного RPC-вузла. Ці вузли з самого початку зберігають всі історичні дані блокчейну, що дозволяє повністю отримувати доступ до даних. Однак утримання архівного вузла є дорогим, а можливості запитів обмежені. Іншим варіантом є запуск дешевших вузлів, але можливості вилучення даних у цих вузлів обмежені, що може перешкоджати нормальному функціонуванню додатків.

Інший спосіб – це використання постачальників комерційних RPC-нотаток. Ці постачальники відповідають за витрати та управління нотатками, надаючи дані через RPC-інтерфейси. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може негативно вплинути на досвід користувачів додатків. Приватні RPC-інтерфейси забезпечують кращу продуктивність за рахунок зменшення завантаженості, але навіть простий запит даних вимагає великої кількості обміну повідомленнями, що є неефективним. Крім того, приватні RPC-інтерфейси зазвичай важко масштабуються та не мають сумісності між різними мережами.

Блокчейн-індексатори відіграють ключову роль в організації даних в ланцюзі та їх передачі до бази даних для полегшення запитів, тому їх називають "пошуковими системами блокчейну". Вони працюють, індексуючи дані блокчейну та роблячи їх доступними за допомогою подібної до SQL мови запитів. Завдяки наданню єдиного інтерфейсу запитів, індексатори дозволяють розробникам швидко та точно отримувати необхідну інформацію, значно спрощуючи процес.

Різні типи індексаторів оптимізують отримання даних різними способами:

1. Повний вузол-індексатор: безпосередньо витягує дані з повного вузла блокчейну, забезпечуючи їхню повноту та точність, але вимагає великої кількості пам'яті та обчислювальних потужностей.

2. Легкий індексатор: покладається на повні вузли для отримання певних даних за потребою, зменшуючи вимоги до зберігання, але може збільшити час запиту.

3. Спеціалізований індексатор: оптимізований для пошуку певних типів даних або конкретних блокчейнів, таких як дані NFT або DeFi-транзакції.

4. Агент з агрегування індексів: витягує дані з кількох блокчейнів та джерел, включаючи поза ланцюгову інформацію, надає єдиний інтерфейс запиту, особливо корисний для багатоланцюгових додатків.

Тільки для Ethereum потрібно 3 ТБ дискового простору, і з тим, як блокчейн постійно зростає, обсяг даних, що зберігається на архівних вузлах, також буде постійно зростати. Протокол індексування розгортає кілька індексаторів, що дозволяє ефективно індексувати та швидко запитувати великі обсяги даних, що неможливо реалізувати за допомогою RPC.

Індексатор також дозволяє виконувати складні запити, легко фільтрувати дані за різними критеріями та витягувати дані для подальшого аналізу. Деякі індексатори також дозволяють агрегувати дані з кількох джерел, уникаючи необхідності розгортати кілька API у багатоланцюгових додатках. Завдяки розподілу по кількох вузлах, індексатор забезпечує підвищену безпеку та продуктивність, тоді як постачальники RPC можуть зіштовхуватися з перебоями та простоєм через свою централізовану природу.

В цілому, у порівнянні з постачальниками RPC-вузлів, індексатори підвищують ефективність і надійність отримання даних, а також знижують витрати на розгортання одного вузла. Це робить протокол блокчейн-індексаторів кращим вибором для розробників додатків.

Побудова децентралізованих застосунків потребує отримання та читання даних блокчейну для виконання своїх послуг. Це включає в себе будь-які типи застосунків, включаючи DeFi, NFT платформи, ігри та навіть соціальні мережі, оскільки ці платформи спочатку повинні читати дані, щоб виконувати інші транзакції.

DeFi протоколи потребують різної інформації, щоб надати користувачам конкретні ціни, співвідношення, збори тощо. Автоматичні маркет-мейкери потребують інформації про ціни та ліквідність пулу, щоб розрахувати ставки обміну, тоді як кредитні протоколи використовують завантаженість для визначення ставок кредитування та співвідношення боргів при ліквідації. Перед розрахунком ставок, які виконують користувачі, необхідно ввести цю інформацію в їхні додатки.

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам плавну гру. Лише завдяки блискавичному вилученню та виконанню даних, ігри Web3 можуть досягти продуктивності, що порівнюється з іграми Web2, що дозволить залучити більше користувачів. Ці ігри потребують даних про право власності на землю, баланс внутрішньоігрових токенів, внутрішньоігрові операції та інше. Використовуючи індексатор, вони можуть краще забезпечити стабільний потік даних і стабільний час безвідмовної роботи для ідеального ігрового досвіду.

Ринок NFT та платформи кредитування потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про власність та передачу, інформація про роялті тощо. Швидка індексація таких даних дозволяє уникнути перегляду кожного NFT по одному для пошуку даних про власність або атрибути NFT.

Незалежно від того, чи потрібна інформація про ціну та ліквідність для DeFi автоматичних маркет-мейкерів або соціальних додатків, які потребують оновлення постів нових користувачів, швидкий доступ до даних є критично важливим для正常ної роботи застосунку. Завдяки індексатору вони можуть ефективно та правильно отримувати дані, що забезпечує плавний користувацький досвід.

Індексатор надає спосіб витягнення конкретних даних з первинних блокчейн-даних. Це створює можливість для більш детального аналізу даних, що забезпечує всебічні уявлення.

Наприклад, протоколи безстрокової торгівлі можуть виявити, які токени мають великий обсяг торгівлі, а які токени генерують комісії, щоб вирішити, чи включати ці токени до свого платформи як безстрокові контракти. Розробники децентралізованих бірж можуть створювати панелі моніторингу для своїх продуктів, щоб глибше зрозуміти, які ліквідні пулі мають найвищу прибутковість або найвищу ліквідність. Також можна створювати публічні панелі моніторингу, які дозволяють розробникам вільно і гнучко запитувати будь-який тип даних, які вони хочуть відобразити на графіку.

Оскільки доступно кілька індексаторів блокчейнів, важливо розуміти різниці між індексними протоколами, щоб забезпечити вибір індексатора, який найкраще відповідає потребам розробника.

Graph є першим протоколом індексації, запущеним в Ethereum, який дозволяє легко запитувати дані про транзакції, що раніше були важко доступними. Він використовує підграфи для визначення та фільтрації підмножини даних, зібраних з блокчейну. Використовуючи індексні докази, індексатори ставлять рідні токени для послуг індексації та запитів, а делегати можуть вибрати, щоб їх токени були поставлені тут. Куртори можуть отримати доступ до якісних підграфів, щоб допомогти індексаторам визначити, які підграфи слід індексувати для отримання найкращих зборів за запити.

Її інфраструктура забезпечує середню вартість кожного мільйона запитів на рівні 40 доларів, що значно нижче, ніж вартість самостійно керованих вузлів. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як on-chain, так і off-chain даних для забезпечення ефективного отримання даних.

Нагороди індексаторів The Graph стабільно зростали протягом кількох останніх кварталів. Це частково пов'язано зі збільшенням обсягу запитів, але також і зростанням ціни токена, оскільки вони планують у майбутньому інтегрувати запити з підтримкою штучного інтелекту.

Subsquid є децентралізованим даними озером, що працює за принципом точка-точка і горизонтально масштабоване, яке ефективно агрегує велику кількість ончейн та оффчейн даних, захищаючи їх за допомогою нульових знань. Як децентралізована мережа робочих вузлів, кожен вузол відповідає за зберігання даних з конкретного підмножини блоків, прискорюючи процес отримання даних шляхом швидкої ідентифікації вузлів, що зберігають необхідні дані.

Subsquid також підтримує реальний індекс, що дозволяє індексувати його до остаточного затвердження блоку. Він також підтримує зберігання даних у форматі, обраному розробниками, що полегшує аналіз за допомогою різних інструментів. Крім того, підграфи можуть бути розгорнуті в мережі Subsquid без необхідності міграції на Squid SDK, забезпечуючи безкодове розгортання.

Незважаючи на те, що проект все ще перебуває на стадії тестової мережі, Subsquid досяг вражаючих показників, маючи понад 80 000 користувачів тестової мережі, розгорнувши понад 60 000 індексаторів Squid та маючи на мережі понад 20 000 перевірених розробників. 3 червня Subsquid запустив основну мережу свого дата-озера.

Окрім індексації, дані з湖 Subsquid Network також можуть замінити RPC в таких випадках використання, як аналіз, ZK/TEE співпроцесори, AI агенти та Oracle.

SubQuery є децентралізованою інфраструктурною мережею проміжного програмного забезпечення, яка надає послуги RPC та індексації даних. Спочатку вона підтримувала мережі Polkadot та Substrate, але тепер розширилася на понад 200 ланцюгів. Її принцип роботи подібний до The Graph, що використовує індексаційні докази: індексатори індексують дані та надають запити на запит, а делегати ставлять свої активи на індексаторів. Однак вона вводить споживачів для подання замовлень на купівлю, щоб підтвердити, що доходи індексаторів забезпечені, а не управлінцями.

Він впровадить підтримку шардованих вузлів даних SubQuery, щоб запобігти постійній синхронізації нових даних між кожним вузлом, тим самим оптимізуючи ефективність запитів і наближаючись до більшої децентралізації. Користувачі можуть обрати оплату приблизно 1 SQT токена за кожні 1000 запитів або встановити власні комісії для індексаторів через протокол.

Хоча SubQuery запустила свій токен лише на початку цього року, винагорода за випуск для вузлів і делегатів також зросла в доларовій вартості, що також свідчить про постійне зростання кількості запитів, які надаються на її платформі. З моменту генерування токена загальна кількість SQT, що перебуває в стейкінгу, зросла з 6 мільйонів до 125 мільйонів, що підкреслює зростання участі в її мережі.

Covalent є децентралізованою мережею індексаторів, яка створює копії даних блокчейну шляхом масового експорту через мережеві вузли виробників зразків блоків та публікує докази на блокчейні Covalent L1. Ці дані далі уточнюються вузлами виробників результатів блоків відповідно до встановлених правил, відбираючи дані, які відповідають вимогам.

Завдяки єдиному API, розробники можуть легко отримувати відповідні дані блокчейну за допомогою однакового формату запитів та відповідей, не витрачаючи часу на написання складних запитів для доступу до даних. Можна використовувати токени CQT, які розраховуються на певному блокчейні, як засіб оплати для отримання цих попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent, здається, загалом мають тенденцію до зростання з першого кварталу 23 року по перший квартал 24 року, частково через зростання ціни токена Covalent CQT.

При виборі індексатора необхідно враховувати такі фактори:

Налаштування даних: деякі індексатори є загальними індексаторами, які надають стандартні попередньо налаштовані набори даних лише через API. Хоча вони можуть бути швидкими, вони не надають гнучкості для розробників, які потребують налаштованих наборів даних. Використання фреймворку індексаторів дозволяє виконувати більше налаштувань обробки даних, щоб відповідати конкретним вимогам додатків.

Безпека: дані індексації повинні бути захищені, інакше застосунки, побудовані на цих індексах, також можуть бути вразливими до атак. Хоча всі індексатори використовують певну форму безпеки за рахунок стейкінгу токенів, інші рішення для індексаторів можуть використовувати докази для подальшого підвищення безпеки.

Швидкість та масштабованість: з ростом блокчейну обсяги транзакцій також зростають, що ускладнює індексування великої кількості даних. Підтримувати ефективність стає дедалі складніше, але протокол індексаторів впроваджує рішення для задоволення цих зростаючих потреб.

Підтримувані мережі: незважаючи на те, що більшість блокчейн-активностей досі відбуваються в Ethereum, з часом різні блокчейни стають дедалі популярнішими. Підтримка деяких ланцюгів, для яких інші протоколи індексації не надають підтримки, може забезпечити додаткову частку ринку.

Незважаючи на те, що індексатори широко використовуються в розробці децентралізованих додатків, їх потенціал все ще величезний, особливо у випадку інтеграції штучного інтелекту. Зі зростанням популярності ШІ в Web2 та Web3, його можливості вдосконалення залежать від доступу до відповідних даних.