Evolução da tecnologia de indexação de dados de Blockchain: do Nó ao serviço de cadeia totalmente capacitado por IA

Evolução da tecnologia de indexação de dados em Blockchain: de Nós a serviços de dados de cadeia completa capacitados por IA

1 Introdução

Desde o nascimento do primeiro grupo de dApps em 2017, as aplicações em Blockchain têm-se desenvolvido de forma robusta, abrangendo vários setores como finanças, jogos e redes sociais. Ao discutir aplicações descentralizadas, já ponderámos sobre as fontes de dados utilizadas por esses dApps?

Em 2024, a IA e o Web3 tornaram-se tópicos quentes. No campo da inteligência artificial, os dados são como a fonte da vida, sendo cruciais para o crescimento e evolução dos sistemas de IA. Assim como as plantas precisam de luz solar e água para crescer saudavelmente, os sistemas de IA também dependem de uma enorme quantidade de dados para "aprender" e "pensar" continuamente. Sem o suporte de dados, mesmo os algoritmos de IA mais sofisticados terão dificuldade em exercer sua inteligência e eficácia adequadas.

Este artigo irá analisar, do ponto de vista da acessibilidade dos dados da Blockchain, a evolução da indexação de dados da Blockchain durante o desenvolvimento da indústria. Também iremos comparar os protocolos de indexação de dados estabelecidos com os novos protocolos de serviços de dados da Blockchain, com especial atenção às semelhanças e diferenças nos serviços de dados e nas características da arquitetura de produtos dos novos protocolos que combinam tecnologia de IA.

Leitura, indexação e análise, resumo da pista de indexação de dados Web3

2 A complexidade e a simplicidade da indexação de dados: do nó da Blockchain ao banco de dados da cadeia completa

2.1 Fonte de dados: Nó de Blockchain

A blockchain é frequentemente descrita como um livro de registro descentralizado. Os nós da blockchain são a base de toda a rede, responsáveis por registrar, armazenar e disseminar todos os dados das transações na cadeia. Cada nó mantém uma cópia completa dos dados da blockchain, garantindo a característica de descentralização da rede. No entanto, para o usuário comum, construir e manter um nó não é uma tarefa fácil, pois requer habilidades especializadas e vem acompanhado de altos custos de hardware e largura de banda. A capacidade de consulta dos nós comuns também é limitada, dificultando a satisfação das necessidades dos desenvolvedores. Assim, embora teoricamente qualquer um possa operar um nó, na prática, os usuários tendem a depender de serviços de terceiros.

Para resolver este problema, surgiram os fornecedores de nós RPC. Estes fornecedores são responsáveis pelos custos e pela gestão dos nós, e fornecem serviços de dados através de pontos finais RPC. Os usuários podem acessar facilmente os dados da blockchain sem a necessidade de construir nós próprios. Os pontos finais RPC públicos são gratuitos, mas têm limites de taxa, o que pode afetar a experiência do usuário do dApp. Os pontos finais RPC privados oferecem melhor desempenho, mas têm eficiência mais baixa para consultas complexas e são difíceis de escalar e de serem compatíveis entre redes. Apesar disso, a interface API padronizada dos fornecedores de nós reduz a barreira de acesso dos usuários aos dados on-chain, estabelecendo uma base para a posterior análise e aplicação de dados.

2.2 Análise de Dados: dos dados de protótipo aos dados utilizáveis

Os dados obtidos a partir de nós de Blockchain são geralmente dados brutos que foram processados por criptografia e codificação. Embora esses dados garantam a integridade e a segurança da Blockchain, também aumentam a dificuldade de interpretação dos dados. Para usuários comuns ou desenvolvedores, lidar diretamente com esses dados brutos requer um grande conhecimento técnico e recursos computacionais.

O processo de análise de dados torna-se especialmente importante neste contexto. Ao converter dados de protótipos complexos em um formato mais compreensível e manipulável, os usuários podem entender e utilizar esses dados de forma mais intuitiva. O efeito da análise de dados impacta diretamente a eficiência e a eficácia das aplicações de dados em Blockchain, sendo uma etapa chave em todo o processo de indexação de dados.

Leitura, indexação para análise, resumo da pista de indexação de dados Web3

2.3 A evolução do indexador de dados

Com o aumento da quantidade de dados em Blockchain, a demanda por indexadores está a crescer. Os indexadores desempenham um papel importante na organização dos dados na cadeia e no envio deles para um banco de dados para que possam ser consultados. Os indexadores tornam os dados disponíveis a qualquer momento, indexando os dados do Blockchain e oferecendo uma linguagem de consulta semelhante ao SQL (como a API GraphQL). Ao fornecer uma interface de consulta unificada, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias usando uma linguagem de consulta padronizada, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

  1. Indexador de nós completos: Extrai dados diretamente de nós de blockchain completos, garantindo que os dados sejam completos e precisos, mas requer uma grande capacidade de armazenamento e processamento.
  2. Indexador leve: depende de nós completos para obter dados específicos conforme necessário, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.
  3. Indexador dedicado: otimizado para tipos específicos de dados ou blockchain específico, como dados de NFT ou transações DeFi.
  4. Agregador de índices: extrai dados de múltiplas Blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, especialmente adequada para dApps multichain.

Atualmente, os nós de arquivo do Ethereum ocupam cerca de 13,5 TB de espaço de armazenamento no cliente Geth, enquanto no cliente Erigon ocupam cerca de 3 TB. À medida que a Blockchain cresce, a quantidade de dados armazenados nos nós de arquivo continuará a aumentar. Diante de tal volume de dados, os principais protocolos de indexação não apenas suportam indexação multi-chain, mas também personalizaram estruturas de análise de dados para as necessidades de dados de diferentes aplicações.

A introdução do indexador melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, o indexador pode indexar grandes volumes de dados de forma eficiente, suportando consultas de alta velocidade. Os usuários podem executar consultas complexas, filtrar dados facilmente e realizar análises após a extração. Alguns indexadores também suportam a agregação de várias fontes de dados de blocos, evitando o problema de que aplicações descentralizadas em múltiplas cadeias precisem implantar várias APIs. Através da operação distribuída, o indexador oferece maior segurança e desempenho, reduzindo o risco de interrupções que os provedores RPC centralizados podem trazer.

Em comparação, o indexador permite que os usuários acessem diretamente as informações necessárias sem lidar com dados complexos subjacentes, através de uma linguagem de consulta predefinida. Este mecanismo melhora significativamente a eficiência e a confiabilidade da recuperação de dados, sendo uma inovação importante no acesso a dados de Blockchain.

2.4 Banco de dados de cadeia completa: Alinhamento prioritário para fluxo

Usar um nó de índice para consultar dados geralmente significa que a API se torna a única entrada para processar dados na blockchain. No entanto, quando os projetos entram na fase de expansão, frequentemente é necessário ter fontes de dados mais flexíveis, e APIs padronizadas têm dificuldade em atender a essa necessidade. À medida que as demandas das aplicações se tornam mais complexas, os indexadores de dados primários e seus formatos de índice padronizados tornam-se progressivamente incapazes de atender às crescentes e diversificadas necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia.

Na arquitetura moderna de pipelines de dados, o método "prioridade ao fluxo" tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo a ingestão, processamento e análise de dados em tempo real. Essa mudança de paradigma permite que as organizações respondam imediatamente aos dados recebidos, obtendo insights e tomando decisões quase em tempo real. De forma semelhante, os provedores de serviços de dados em Blockchain também estão se desenvolvendo na direção de construir fluxos de dados em Blockchain, com provedores de serviços de indexação tradicionais lançando, progressivamente, produtos que obtêm dados em tempo real do Blockchain em forma de fluxo de dados.

Estes serviços têm como objetivo resolver a necessidade de análise em tempo real das transações em Blockchain e oferecer uma capacidade de consulta mais abrangente. Assim como a arquitetura "prioridade de fluxo" inovou a forma de processamento de dados em canais de dados tradicionais, reduzindo a latência e melhorando a capacidade de resposta, esses fornecedores de serviços de fluxo de dados em Blockchain também esperam apoiar o desenvolvimento de mais aplicações e auxiliar na análise de dados on-chain através de fontes de dados mais avançadas e maduras.

Redefinindo os desafios dos dados on-chain através da perspetiva de modernos pipelines de dados, conseguimos olhar para a gestão, armazenamento e potencial fornecimento de dados on-chain de uma nova forma. Quando começamos a ver indexadores como Subgraph e Ethereum ETL como fluxos de dados dentro de um pipeline de dados, podemos imaginar um mundo possível que pode personalizar conjuntos de dados de alto desempenho para qualquer caso de uso empresarial.

Leitura, indexação para análise, resumo da corrida de indexação de dados Web3

3 Comparação aprofundada entre The Graph, Chainbase e Space and Time

3.1 The Graph

A rede The Graph implementa serviços de indexação e consulta de dados multi-chain através de uma rede de nós descentralizados, facilitando aos desenvolvedores a indexação de dados de blockchain e a construção de aplicações descentralizadas. Os seus principais modelos de produto incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, que essencialmente servem às necessidades de consulta de produtos dos usuários.

O subgrafo é a estrutura de dados fundamental na rede The Graph, definindo como extrair e transformar dados da Blockchain em um formato consultável. Qualquer pessoa pode criar subgrafos, e várias aplicações podem reutilizar esses subgrafos, aumentando a reutilização de dados e a eficiência de uso.

A rede The Graph é composta por quatro papéis-chave: indexadores, curadores, delegadores e desenvolvedores, que juntos fornecem suporte de dados para aplicações Web3. Atualmente, The Graph mudou para um serviço de hospedagem de subgráficos totalmente descentralizado, com incentivos econômicos circulantes entre as diferentes partes para garantir o funcionamento do sistema.

Os produtos do The Graph também estão a desenvolver-se rapidamente na onda da IA. As ferramentas AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, melhoraram o desempenho do ecossistema em várias áreas. A aplicação destas ferramentas permitiu que o The Graph, combinado com a IA, aumentasse ainda mais a inteligência do sistema e a sua facilidade de utilização.

Leitura, indexação e análise, resumo da pista de indexação de dados Web3

3.2 Chainbase

Chainbase é uma rede de dados de blockchain que integra todos os dados de blockchain em uma plataforma, facilitando para os desenvolvedores construir e manter aplicações de forma mais fácil. As suas funcionalidades únicas incluem:

  • Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados de Blockchain, permitindo que os dados sejam acessados imediatamente à medida que são gerados.
  • Arquitetura de Dupla Cadeia: Construída sobre a camada de execução baseada no Eigenlayer AVS, formando uma arquitetura de dupla cadeia paralela com o algoritmo de consenso CometBFT.
  • Padrão de formato de dados inovador: Introdução do padrão de formato de dados "manuscripts", otimizando a estruturação e a utilização de dados na indústria de criptografia.
  • Modelo de mundo cripto: combinar tecnologia de modelos de IA para criar um modelo de IA que possa compreender, prever e interagir efetivamente com transações em Blockchain.

O modelo de IA Theia da Chainbase é o destaque chave que o diferencia de outros protocolos de serviços de dados. Theia é baseado no modelo DORA desenvolvido pela NVIDIA, combinando dados on-chain e off-chain, bem como atividades temporais e espaciais, para aprender e analisar padrões criptográficos, respondendo através de raciocínio causal, explorando profundamente o valor e as regras potenciais dos dados on-chain, oferecendo serviços de dados mais inteligentes para os usuários.

Leitura, indexação e análise, resumo da pista de indexação de dados Web3

3.3 Espaço e Tempo

Space and Time (SxT) visa criar uma camada de computação verificável, expandindo a prova de conhecimento zero sobre armazéns de dados descentralizados, para fornecer processamento de dados confiáveis para contratos inteligentes, grandes modelos de linguagem e empresas.

SxT introduziu a tecnologia Proof of SQL, que é uma tecnologia inovadora de prova de conhecimento nulo, garantindo que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de adulterações e verificáveis. A Proof of SQL gera provas criptográficas, validando a integridade e a precisão dos resultados das consultas, permitindo que qualquer validador confirme de forma independente que os dados não foram alterados durante o processamento.

A SxT tem trabalhado em estreita colaboração com o laboratório de inovação em IA da Microsoft, acelerando o desenvolvimento de ferramentas de IA generativa que facilitam aos usuários a manipulação de dados de blockchain através do processamento de linguagem natural. No Space and Time Studio, os usuários podem experimentar a inserção de consultas em linguagem natural, e a IA automaticamente as converte em SQL e executa as instruções de consulta, apresentando o resultado final que os usuários necessitam.

Leitura, indexação para análise, resumo da corrida de indexação de dados Web3

Conclusão e Perspectivas

A tecnologia de indexação de dados em Blockchain evoluiu desde a origem da fonte de dados do nó, passando pelo desenvolvimento de análise de dados e indexadores, até finalmente se transformar em um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aprimoramento gradual. Essa evolução contínua das tecnologias não só melhorou a eficiência e a precisão do acesso aos dados, mas também trouxe aos usuários uma experiência de inteligência sem precedentes.

Olhando para o futuro, com o contínuo desenvolvimento de novas tecnologias como a AI e as provas de conhecimento zero, os serviços de dados Blockchain se tornarão ainda mais inteligentes e seguros. Os serviços de dados Blockchain, como infraestrutura, continuarão a desempenhar um papel importante, fornecendo um forte suporte para o progresso e inovação da indústria.

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 4
  • Compartilhar
Comentário
0/400
ContractExplorervip
· 07-24 18:06
Aqui está a especulação sobre a IA.
Ver originalResponder0
EyeOfTheTokenStormvip
· 07-24 18:05
Os indicadores mostram claramente que o mercado de AI e Web3 está quase a formar um fundo! Entrem numa posição, pessoal!
Ver originalResponder0
¯\_(ツ)_/¯vip
· 07-24 18:00
Quem se importa com índices? Tudo se resolve com IA.
Ver originalResponder0
HypotheticalLiquidatorvip
· 07-24 17:56
O risco em cadeia de ser liquidado devido à segurança dos dados já se manifestou, e o alerta dos fatores de saúde continua a cair ah
Ver originalResponder0
  • Marcar
Faça trade de criptomoedas em qualquer lugar e a qualquer hora
qrCode
Escaneie o código para baixar o app da Gate
Comunidade
Português (Brasil)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)