Еволюція технологій індексації даних Блокчейн: від Ноди до послуг з повним ланцюгом на базі ШІ

Еволюція технологій індексації даних Блокчейн: від Ноди до AI-уповноважених послуг даних по всьому ланцюгу

1 Вступ

З моменту виникнення першої партії dApp у 2017 році, блокчейн-додатки стрімко розвиваються, охоплюючи фінанси, ігри та соціальні мережі. Обговорюючи децентралізовані додатки, чи замислювалися ми коли-небудь над джерелами даних, які використовують ці dApp?

У 2024 році AI та Web3 стали гарячими темами. У сфері штучного інтелекту дані є життєвим джерелом, важливим для зростання та еволюції AI-систем. Як рослинам потрібні сонячне світло та вода для здорового зростання, так і AI-системи залежні від величезних обсягів даних для постійного "вивчення" та "мислення". Без підтримки даних жоден складний алгоритм AI не зможе продемонструвати свою справжню інтелектуальність та ефективність.

Ця стаття глибоко проаналізує еволюцію індексації даних блокчейну в процесі розвитку галузі з точки зору доступності даних блокчейну. Ми також порівняємо старі протоколи індексації даних з новими протоколами сервісів даних блокчейну, з особливою увагою до відмінностей і схожостей нових протоколів, які поєднують технології штучного інтелекту в аспектах сервісу даних і архітектури продуктів.

Читання, індексування та аналіз, короткий огляд індексації даних Web3

2 Складність та простота індексації даних: від ноди Блокчейн до повнотекстової бази даних

2.1 Джерело даних: Блокчейн Нода

Блокчейн часто описується як децентралізований бухгалтерський реєстр. Ноди блокчейну є основою всієї мережі, відповідальною за запис, зберігання та поширення всіх даних про транзакції в ланцюгу. Кожен вузол зберігає повну копію даних блокчейну, забезпечуючи децентралізовану характеристику мережі. Однак для звичайних користувачів створення та обслуговування нод не є простим завданням, оскільки це вимагає спеціальних навичок і супроводжується високими витратами на апаратуру та пропускну спроможність. Запитувальні можливості звичайних нод також обмежені, і їх важко задовольнити потреби розробників. Тому, хоча теоретично кожен може запустити ноду, на практиці користувачі більше схильні покладатися на послуги третіх сторін.

Щоб вирішити цю проблему, з'явилися постачальники RPC-ноди. Ці постачальники відповідають за витрати та управління нодами, а також надають послуги з обробки даних через RPC-інтерфейси. Користувачам не потрібно створювати власні ноди, щоб легко отримувати доступ до даних Блокчейн. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси забезпечують кращу продуктивність, але для складних запитів ефективність нижча, і їх важко масштабувати та забезпечити сумісність між мережами. Незважаючи на це, стандартизовані API-інтерфейси постачальників нод знижують бар'єри для користувачів при доступі до даних на ланцюгу, закладаючи основу для подальшої обробки даних та застосувань.

2.2 Аналіз даних: від прототипних даних до використовуваних даних

Дані, отримані з нод Блокчейн, зазвичай є необробленими даними, що пройшли шифрування та кодування. Ці дані, хоча й гарантують цілісність і безпеку Блокчейн, також ускладнюють процес їх розшифровки. Для звичайних користувачів або розробників безпосередня обробка цих прототипних даних потребує значних технічних знань і обчислювальних ресурсів.

Процес解析 даних у цьому контексті є особливо важливим. Перетворюючи складні прототипні дані на більш зрозумілий та зручний для використання формат, користувачі можуть більш інтуїтивно зрозуміти та використовувати ці дані. Ефективність解析 даних безпосередньо впливає на ефективність і результати застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.

Читання, індексація до аналізу, короткий опис сектора індексації даних Web3

2.3 Еволюція індексаторів даних

Зі збільшенням обсягу даних Блокчейн, попит на індексатори даних зростає. Індексатори відіграють важливу роль в організації даних на ланцюзі та їх відправці до бази даних для запитів. Індексатори роблять дані доступними в будь-який час, індексувавши дані Блокчейн та надаючи подібну до SQL мову запитів (таку як GraphQL API). Надаючи єдиний інтерфейс запитів, індексатори дозволяють розробникам швидко та точно отримувати потрібну інформацію, використовучи стандартизовану мову запитів, що значно спрощує процес.

Різні типи індексаторів оптимізують доступ до даних різними способами:

  1. Повний індексатор вузлів: безпосередньо витягує дані з повних Блокчейн вузлів, забезпечуючи їхню повноту та точність, але вимагає великої кількості пам'яті та обробної потужності.
  2. Легкий індексатор: покладається на повні вузли для отримання конкретних даних за потреби, зменшуючи вимоги до зберігання, але може збільшити час запиту.
  3. Спеціалізований індексатор: оптимізований для певних типів даних або конкретного Блокчейн, наприклад, даних NFT або DeFi-транзакцій.
  4. Аггрегатор індексів: витягує дані з кількох Блокчейн та джерел, включаючи поза ланцюгова інформацію, надаючи єдиний інтерфейс запиту, особливо підходить для багатоланцюгових dApp.

Наразі архівна нода Ethereum займає близько 13,5 ТБ пам'яті в клієнті Geth, тоді як в клієнті Erigon - близько 3 ТБ. З ростом блокчейну обсяг даних архівної ноди буде продовжувати зростати. Обличчям до такої великої кількості даних, основні протоколи індексації підтримують не лише багатоланцюгову індексацію, а й адаптували структуру розбору даних під різні потреби додатків.

Поява індексаторів значно підвищила ефективність індексації та запиту даних. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно індексувати великі обсяги даних, підтримуючи швидкі запити. Користувачі можуть виконувати складні запити, легко фільтрувати дані та проводити аналіз після вилучення. Деякі індексатори також підтримують агрегацію джерел даних з кількох блокчейнів, уникаючи проблеми, пов'язаної з необхідністю розгортання кількох API для багатоланцюгових dApp. Завдяки розподіленій роботі індексатори забезпечують більшу безпеку та продуктивність, зменшуючи ризики перерви, які можуть виникнути через централізованих постачальників RPC.

У порівнянні, індексатор за допомогою попередньо визначеної мови запитів дозволяє користувачам отримувати необхідну інформацію без необхідності обробляти складні дані на нижньому рівні. Цей механізм суттєво підвищує ефективність і надійність доступу до даних, що є важливою інновацією в доступі до даних Блокчейн.

2.4 Повна база даних Блокчейн: вирівнювання за пріоритетом потоку

Використання індексних Нод для запиту даних зазвичай означає, що API стає єдиним входом для обробки даних на Блокчейні. Однак, коли проекти переходять до етапу розширення, часто потрібні більш гнучкі джерела даних, а стандартизовані API важко задовольнити цю потребу. З ускладненням вимог до додатків первинні індексатори даних та їх стандартизовані формати індексації поступово перестають задовольняти зростаючі різноманітні вимоги до запитів, такі як пошук, крос-лінковий доступ або відображення даних поза ланцюгом.

У сучасній архітектурі даних метод "потоковий пріоритет" став рішенням для обмежень традиційної пакетної обробки, реалізуючи миттєвий збір, обробку та аналіз даних. Ця парадигмальна зміна дозволяє організаціям негайно реагувати на вхідні дані, майже в реальному часі отримувати інсайти та приймати рішення. Подібним чином, постачальники послуг даних Блокчейн також розвиваються в напрямку створення потоків даних Блокчейн, традиційні постачальники індексаторів поступово випускають продукти для отримання даних Блокчейн в реальному часі у вигляді потоків.

Ці послуги призначені для вирішення потреб у реальному аналізі блокчейн-транзакцій і наданні більш розширених можливостей запиту. Як архітектура "потік в пріоритеті" інноваційно змінює способи обробки даних у традиційних інформаційних каналах, знижуючи затримки та підвищуючи реактивність, ці постачальники потоків даних блокчейн також сподіваються підтримати розвиток більшої кількості програм через більш розвинені та зрілі джерела даних, а також допомогти в аналізі даних на ланцюгу.

Переглядаючи виклики даних на ланцюзі з точки зору сучасних інформаційних трубопроводів, ми можемо по-новому оцінити потенціал управління, зберігання та надання даних на ланцюзі. Коли ми почнемо розглядати індексатори, такі як Subgraph і Ethereum ETL, як потоки даних у інформаційному трубопроводі, а не як кінцеві виходи, ми можемо уявити світ, де високопродуктивні набори даних можуть бути адаптовані під будь-який бізнес-кейс.

Читання, індексація до аналізу, короткий опис сектору індексації даних Web3

3 Глибоке порівняння The Graph, Chainbase та Space and Time

3.1 Граф

Мережа The Graph реалізує індексацію та запит даних з кількох блокчейнів через децентралізовану мережу нод, що полегшує розробникам індексацію даних блокчейну та створення децентралізованих додатків. Її основні продуктові моделі включають ринок виконання запитів даних та ринок кешування індексації даних, які в основному обслуговують запити продуктів користувачів.

Субграф є основною структурою даних у мережі The Graph, який визначає, як витягувати та перетворювати дані з Блокчейн у формат, що підлягає запиту. Будь-хто може створити субграф, кілька додатків можуть повторно використовувати ці субграфи, що підвищує повторне використання даних та ефективність використання.

Мережа The Graph складається з чотирьох ключових ролей: індексаторів, кураторів, делегаторів і розробників, які спільно забезпечують даними програми Web3. Наразі The Graph перейшов до повноцінного децентралізованого хостингу субграфів, де між різними учасниками існують економічні стимули для забезпечення роботи системи.

Продукти The Graph також швидко розвиваються в епоху штучного інтелекту. Інструменти AutoAgora, Allocation Optimizer та AgentC, розроблені Semiotic Labs, підвищують продуктивність екосистеми в різних аспектах. Використання цих інструментів дозволяє The Graph, поєднуючи штучний інтелект, подальше підвищення інтелектуальності системи та дружності до користувачів.

Читання, індексація до аналізу, короткий опис сектора індексації даних Web3

3.2 Ланцюгова база

Chainbase є мережею даних усього блокчейну, яка об'єднує всі дані блокчейну на одній платформі, що дозволяє розробникам легше створювати та підтримувати програми. Його унікальні функції включають:

  • Реальний дата-озеро: надає спеціалізоване реальне дата-озеро для потоків даних Блокчейн, що дозволяє отримувати доступ до даних у момент їх генерації.
  • Подвійна структура блокчейну: побудована на основі Eigenlayer AVS виконавча ланка, паралельно з алгоритмом консенсусу CometBFT.
  • Інноваційний стандарт формату даних: впровадження стандарту формату даних "manuscripts", оптимізація структуризації та використання даних у криптоіндустрії.
  • Модель криптосвіту: поєднуючи технологію моделей ШІ, створюємо модель ШІ, яка може ефективно розуміти, прогнозувати Блокчейн-транзакції та взаємодіяти з ними.

AI-модель Theia від Chainbase є ключовою особливістю, яка відрізняє її від інших протоколів даних. Theia базується на моделі DORA, розробленій NVIDIA, поєднуючи ончейн та оффчейн дані, а також просторово-часову активність, вивчає та аналізує криптографічні патерни, реагує на них через причинно-наслідкове висновування, глибоко досліджує потенційну цінність і закономірності ончейн даних, щоб надати користувачам більш інтелектуальні дані послуги.

Читання, індексація до аналізу, короткий опис сектора індексації даних Web3

3.3 Простір і час

Space and Time (SxT) має на меті створення верифікованого обчислювального шару, який розширює нульові знання в децентралізованому сховищі даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей та підприємств.

SxT впроваджує технологію Proof of SQL, яка є інноваційною технологією нульового знання, що забезпечує незмінність і верифікацію SQL-запитів, виконаних на децентралізованому сховищі даних. Proof of SQL генерує криптографічні докази, які підтверджують цілісність і точність результатів запиту, що дозволяє будь-якому верифікатору незалежно підтвердити, що дані не були змінені в процесі обробки.

SxT постійно співпрацює з інноваційною лабораторією AI Microsoft, прискорюючи розробку генеративних AI інструментів, щоб полегшити користувачам обробку даних Блокчейн за допомогою природної мови. У Space and Time Studio користувачі можуть спробувати вводити запити природною мовою, AI автоматично перетворює їх на SQL та виконує запит, представляючи кінцевий результат, який потрібен користувачеві.

Читання, індексація до аналізу, короткий опис Web3 індексаційної ніші

Висновки та перспективи

Блокчейн даних індексації технології від початкових джерел даних ноди, через розвиток аналізу даних та індексаторів, зрештою еволюціонували в AI-орієнтовані послуги з даних усієї ланцюга, пройшовши поступовий процес вдосконалення. Ці технології постійного розвитку не лише підвищили ефективність і точність доступу до даних, але й принесли користувачам безпрецедентний інтелектуальний досвід.

Заглядаючи в майбутнє, з розвитком нових технологій, таких як штучний інтелект та нульове знання, послуги з обробки даних Блокчейн стануть ще більш інтелектуальними та безпечними. Послуги з обробки даних Блокчейн, як інфраструктура, продовжать відігравати важливу роль, надаючи потужну підтримку прогресу та інноваціям у галузі.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 4
  • Поділіться
Прокоментувати
0/400
ContractExplorervip
· 07-24 18:06
Це тут спекулюють на AI.
Переглянути оригіналвідповісти на0
EyeOfTheTokenStormvip
· 07-24 18:05
Індикатори чітко показують, що ця хвиля ai та web3 приблизно досягла дна! Увійти в позицію, хлопці!
Переглянути оригіналвідповісти на0
¯\_(ツ)_/¯vip
· 07-24 18:00
Індексом і всім таким ніхто не переймається, все буде вирішено за допомогою ШІ.
Переглянути оригіналвідповісти на0
HypotheticalLiquidatorvip
· 07-24 17:56
Ризики падіння безпеки даних вже проявилися, фактори здоров'я постійно знижуються а
Переглянути оригіналвідповісти на0
  • Закріпити