Evolução da tecnologia de indexação de dados em Blockchain: de Nós a serviços de cadeia completa impulsionados por IA
1. Introdução
Desde o surgimento das primeiras aplicações de Blockchain em 2017, até hoje em que diversas aplicações financeiras, de jogos e sociais baseadas em diferentes Blockchains estão florescendo, já pensamos sobre as várias fontes de dados utilizadas nessas interações?
Em 2024, a inteligência artificial e o Web3 tornam-se tópicos em alta. No campo da IA, os dados são a base do seu desenvolvimento. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de uma enorme quantidade de dados para continuar aprendendo e evoluindo. Sem dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em demonstrar a inteligência e a eficácia que deveriam.
Este artigo explorará em profundidade a evolução da acessibilidade dos dados na Blockchain, analisando a evolução dos índices de dados na indústria e comparando as semelhanças e diferenças nas características técnicas entre os antigos protocolos de índice e os novos protocolos de serviços de dados.
2. A evolução do índice de dados: de nós de blockchain a banco de dados de cadeia completa
2.1 Fonte de dados: Nó de Blockchain
Blockchain é um livro de contabilidade descentralizado, os nós são a base de toda a rede, responsáveis por registrar, armazenar e disseminar todos os dados de transação. Cada nó possui uma cópia completa dos dados da blockchain, mantendo a característica descentralizada da rede. No entanto, construir e manter um nó por usuários comuns não é tarefa fácil, pois requer não apenas conhecimentos técnicos especializados, mas também altos custos de hardware e largura de banda. A capacidade de consulta de nós comuns também é limitada, dificultando a satisfação das necessidades dos desenvolvedores. Portanto, os usuários frequentemente dependem de serviços de terceiros.
Os provedores de nós RPC surgiram, responsáveis pela gestão dos nós e pela disponibilização de dados através de pontos finais RPC. Isso permite que os usuários acessem dados da blockchain sem precisar criar seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas têm limitações de taxa, enquanto os pontos finais RPC privados têm melhor desempenho, mas a eficiência ainda não é alta. Apesar disso, a interface de API padronizada dos provedores de nós reduziu a barreira de acesso dos usuários aos dados na cadeia, estabelecendo uma base para a posterior interpretação e aplicação dos dados.
2.2 Análise de Dados: dos Dados Brutos aos Dados Utilizáveis
Os dados brutos fornecidos pelos nós da blockchain geralmente são processados por meio de criptografia e codificação, garantindo a integridade e a segurança, mas também aumentando a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer uma quantidade significativa de conhecimento técnico e recursos computacionais.
O processo de análise de dados tornou-se, portanto, crucial. Ao converter dados brutos complexos em um formato fácil de entender e operar, os usuários podem utilizar esses dados de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação de dados Blockchain, sendo uma etapa chave em todo o processo de indexação de dados.
2.3 A evolução do indexador de dados
Com o aumento da quantidade de dados na blockchain, a necessidade de indexadores está a crescer. Os indexadores desempenham um papel importante na organização dos dados na cadeia e no envio destes para bases de dados para consulta. Eles indexam os dados da blockchain e oferecem uma interface de linguagem de consulta semelhante ao SQL, como a GraphQL API(, tornando os dados disponíveis a qualquer momento. Esta interface de consulta unificada simplifica enormemente o processo para os desenvolvedores recuperarem as informações necessárias.
Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:
Indexador de nó completo: extrai dados diretamente de nós completos da blockchain, garantindo integridade e precisão, mas requer uma grande capacidade de armazenamento e processamento.
Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.
Indexador dedicado: otimização da recuperação para tipos específicos de dados ou Blockchain, como dados NFT ou transações DeFi.
Agregador de índices: extrai dados de múltiplos Blockchains e fontes, incluindo informações fora da cadeia, fornecendo uma interface de consulta unificada, adequada para aplicações multi-chain.
Atualmente, os nós de arquivos do Ethereum ocupam entre 3-13,5 TB de espaço de armazenamento em diferentes clientes. Diante de um volume de dados tão grande, os protocolos de indexadores de referência não apenas suportam a indexação de múltiplas blockchains, mas também personalizaram quadros de análise de dados para diferentes necessidades de aplicações.
Em comparação com os pontos finais RPC tradicionais, os indexadores melhoraram significativamente a eficiência da indexação e consulta de dados. Eles suportam consultas complexas, filtragem de dados e análise pós-extração. Alguns indexadores também suportam a agregação de múltiplas fontes de dados de blockchain, evitando o problema de aplicações multi-chain precisarem implantar várias APIs. Através da execução distribuída, os indexadores oferecem maior segurança e desempenho, reduzindo os riscos que os fornecedores RPC centralizados podem trazer.
![Leitura, indexação para análise, resumo da pista de indexação de dados Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Base de Dados de Blockchain: Alinhamento Prioritário para Fluxo
Com a complexidade crescente das aplicações, os indexadores de dados básicos têm dificuldade em atender à diversidade crescente das necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia. Na arquitetura moderna de pipelines de dados, a abordagem "prioridade ao fluxo" tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo o processamento e a análise de dados em tempo real.
Os provedores de serviços de dados de Blockchain também estão a evoluir na direção da construção de fluxos de dados. Os prestadores de serviços de indexação tradicionais lançaram produtos de fluxo de dados de blockchain em tempo real, como o Substreams do The Graph e o Mirror do Goldsky. Também existem lagos de dados em tempo real, como o Chainbase e o SubSquid, que geram fluxos de dados baseados em Blockchain.
Estes serviços visam resolver a necessidade de análise em tempo real de transações em Blockchain e fornecer uma capacidade de consulta mais abrangente. Ao redefinir a gestão de dados on-chain através da perspectiva de modernos pipelines de dados, podemos imaginar um futuro com conjuntos de dados de alto desempenho personalizados para qualquer caso de uso empresarial.
3. AI + Base de Dados: Comparação entre The Graph, Chainbase e Space and Time
3.1 The Graph
A rede The Graph fornece serviços de indexação e consulta de dados multichain através de nós descentralizados. Seus principais modelos de produtos incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, atendendo às necessidades de consulta de produtos dos usuários.
Subgráficos### são a estrutura de dados básica da rede The Graph, definindo como extrair e transformar dados da Blockchain em um formato consultável. A rede é composta por quatro papéis: indexadores, curadores, delegadores e desenvolvedores, que apoiam conjuntamente as necessidades de dados das aplicações web3.
Os produtos do The Graph também estão a desenvolver-se rapidamente na onda da IA. As ferramentas AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, otimizam respetivamente as estratégias de preços, a alocação de recursos e a experiência do utilizador, melhorando a inteligência do sistema e a sua facilidade de uso.
( 3.2 Chainbase
Chainbase é uma rede de dados de cadeia completa que integra todos os dados de blockchain em uma plataforma. Suas características incluem:
Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados da Blockchain.
Arquitetura de dupla cadeia: camada de execução construída com base no Eigenlayer AVS, formando uma arquitetura paralela com o algoritmo de consenso CometBFT.
Padrão inovador de formato de dados: introdução do padrão de formato de dados "manuscripts".
Modelo de mundo cripto: combinando tecnologia de IA, criando um modelo capaz de entender e prever transações em Blockchain.
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, analisa dados externos em blockchain e atividades no tempo e espaço, oferecendo serviços de dados inteligentes aos usuários.
![Leitura, indexação para análise, resumo da pista de indexação de dados Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Espaço e Tempo
Space and Time )SxT### está empenhada em criar uma camada de computação verificável, expandindo provas de conhecimento zero em armazéns de dados descentralizados. Sua tecnologia central Proof of SQL garante a integridade e verificabilidade de consultas SQL, oferecendo uma solução eficiente para a validação de dados.
SxT colaborou com o Laboratório de Inovação da Microsoft AI para desenvolver ferramentas de IA generativa, permitindo que os usuários processem dados de Blockchain através da linguagem natural. No Space and Time Studio, a IA pode converter linguagem natural em SQL e executar consultas.
Conclusão e Perspetivas
A tecnologia de indexação de dados Blockchain evoluiu desde as fontes de dados de nó iniciais, passando pelo desenvolvimento da análise de dados e do indexador, até finalmente se transformar em um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aperfeiçoamento gradual. Esses avanços tecnológicos não apenas melhoraram a eficiência e a precisão do acesso aos dados, mas também proporcionaram uma experiência mais inteligente.
No futuro, com o desenvolvimento de novas tecnologias como a IA e a prova de conhecimento zero, os serviços de dados em blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, os serviços de dados em blockchain continuarão a apoiar a inovação na indústria.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
14 Curtidas
Recompensa
14
5
Compartilhar
Comentário
0/400
ChainSpy
· 5h atrás
É só indexar os dados de toda a cadeia, não é?~
Ver originalResponder0
ProbablyNothing
· 15h atrás
Vamos experimentar.
Ver originalResponder0
FUD_Whisperer
· 15h atrás
Os indexadores tornam-se inteligentes
Ver originalResponder0
BearMarketNoodler
· 15h atrás
Não há nada de novo, este tipo de armadilha já foi usado em 2008.
Ver originalResponder0
HorizonHunter
· 15h atrás
A IA é poderosa, mas não pode se limitar apenas à tecnologia.
História da evolução do índice de dados da Blockchain: de Nó a serviços de toda a cadeia impulsionados por IA
Evolução da tecnologia de indexação de dados em Blockchain: de Nós a serviços de cadeia completa impulsionados por IA
1. Introdução
Desde o surgimento das primeiras aplicações de Blockchain em 2017, até hoje em que diversas aplicações financeiras, de jogos e sociais baseadas em diferentes Blockchains estão florescendo, já pensamos sobre as várias fontes de dados utilizadas nessas interações?
Em 2024, a inteligência artificial e o Web3 tornam-se tópicos em alta. No campo da IA, os dados são a base do seu desenvolvimento. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de uma enorme quantidade de dados para continuar aprendendo e evoluindo. Sem dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em demonstrar a inteligência e a eficácia que deveriam.
Este artigo explorará em profundidade a evolução da acessibilidade dos dados na Blockchain, analisando a evolução dos índices de dados na indústria e comparando as semelhanças e diferenças nas características técnicas entre os antigos protocolos de índice e os novos protocolos de serviços de dados.
2. A evolução do índice de dados: de nós de blockchain a banco de dados de cadeia completa
2.1 Fonte de dados: Nó de Blockchain
Blockchain é um livro de contabilidade descentralizado, os nós são a base de toda a rede, responsáveis por registrar, armazenar e disseminar todos os dados de transação. Cada nó possui uma cópia completa dos dados da blockchain, mantendo a característica descentralizada da rede. No entanto, construir e manter um nó por usuários comuns não é tarefa fácil, pois requer não apenas conhecimentos técnicos especializados, mas também altos custos de hardware e largura de banda. A capacidade de consulta de nós comuns também é limitada, dificultando a satisfação das necessidades dos desenvolvedores. Portanto, os usuários frequentemente dependem de serviços de terceiros.
Os provedores de nós RPC surgiram, responsáveis pela gestão dos nós e pela disponibilização de dados através de pontos finais RPC. Isso permite que os usuários acessem dados da blockchain sem precisar criar seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas têm limitações de taxa, enquanto os pontos finais RPC privados têm melhor desempenho, mas a eficiência ainda não é alta. Apesar disso, a interface de API padronizada dos provedores de nós reduziu a barreira de acesso dos usuários aos dados na cadeia, estabelecendo uma base para a posterior interpretação e aplicação dos dados.
2.2 Análise de Dados: dos Dados Brutos aos Dados Utilizáveis
Os dados brutos fornecidos pelos nós da blockchain geralmente são processados por meio de criptografia e codificação, garantindo a integridade e a segurança, mas também aumentando a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer uma quantidade significativa de conhecimento técnico e recursos computacionais.
O processo de análise de dados tornou-se, portanto, crucial. Ao converter dados brutos complexos em um formato fácil de entender e operar, os usuários podem utilizar esses dados de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia da aplicação de dados Blockchain, sendo uma etapa chave em todo o processo de indexação de dados.
2.3 A evolução do indexador de dados
Com o aumento da quantidade de dados na blockchain, a necessidade de indexadores está a crescer. Os indexadores desempenham um papel importante na organização dos dados na cadeia e no envio destes para bases de dados para consulta. Eles indexam os dados da blockchain e oferecem uma interface de linguagem de consulta semelhante ao SQL, como a GraphQL API(, tornando os dados disponíveis a qualquer momento. Esta interface de consulta unificada simplifica enormemente o processo para os desenvolvedores recuperarem as informações necessárias.
Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:
Atualmente, os nós de arquivos do Ethereum ocupam entre 3-13,5 TB de espaço de armazenamento em diferentes clientes. Diante de um volume de dados tão grande, os protocolos de indexadores de referência não apenas suportam a indexação de múltiplas blockchains, mas também personalizaram quadros de análise de dados para diferentes necessidades de aplicações.
Em comparação com os pontos finais RPC tradicionais, os indexadores melhoraram significativamente a eficiência da indexação e consulta de dados. Eles suportam consultas complexas, filtragem de dados e análise pós-extração. Alguns indexadores também suportam a agregação de múltiplas fontes de dados de blockchain, evitando o problema de aplicações multi-chain precisarem implantar várias APIs. Através da execução distribuída, os indexadores oferecem maior segurança e desempenho, reduzindo os riscos que os fornecedores RPC centralizados podem trazer.
![Leitura, indexação para análise, resumo da pista de indexação de dados Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Base de Dados de Blockchain: Alinhamento Prioritário para Fluxo
Com a complexidade crescente das aplicações, os indexadores de dados básicos têm dificuldade em atender à diversidade crescente das necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia. Na arquitetura moderna de pipelines de dados, a abordagem "prioridade ao fluxo" tornou-se uma solução para as limitações do processamento em lote tradicional, permitindo o processamento e a análise de dados em tempo real.
Os provedores de serviços de dados de Blockchain também estão a evoluir na direção da construção de fluxos de dados. Os prestadores de serviços de indexação tradicionais lançaram produtos de fluxo de dados de blockchain em tempo real, como o Substreams do The Graph e o Mirror do Goldsky. Também existem lagos de dados em tempo real, como o Chainbase e o SubSquid, que geram fluxos de dados baseados em Blockchain.
Estes serviços visam resolver a necessidade de análise em tempo real de transações em Blockchain e fornecer uma capacidade de consulta mais abrangente. Ao redefinir a gestão de dados on-chain através da perspectiva de modernos pipelines de dados, podemos imaginar um futuro com conjuntos de dados de alto desempenho personalizados para qualquer caso de uso empresarial.
3. AI + Base de Dados: Comparação entre The Graph, Chainbase e Space and Time
3.1 The Graph
A rede The Graph fornece serviços de indexação e consulta de dados multichain através de nós descentralizados. Seus principais modelos de produtos incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, atendendo às necessidades de consulta de produtos dos usuários.
Subgráficos### são a estrutura de dados básica da rede The Graph, definindo como extrair e transformar dados da Blockchain em um formato consultável. A rede é composta por quatro papéis: indexadores, curadores, delegadores e desenvolvedores, que apoiam conjuntamente as necessidades de dados das aplicações web3.
Os produtos do The Graph também estão a desenvolver-se rapidamente na onda da IA. As ferramentas AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, otimizam respetivamente as estratégias de preços, a alocação de recursos e a experiência do utilizador, melhorando a inteligência do sistema e a sua facilidade de uso.
( 3.2 Chainbase
Chainbase é uma rede de dados de cadeia completa que integra todos os dados de blockchain em uma plataforma. Suas características incluem:
O modelo de IA Theia da Chainbase é baseado no modelo DORA da NVIDIA, analisa dados externos em blockchain e atividades no tempo e espaço, oferecendo serviços de dados inteligentes aos usuários.
![Leitura, indexação para análise, resumo da pista de indexação de dados Web3])https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp###
( 3.3 Espaço e Tempo
Space and Time )SxT### está empenhada em criar uma camada de computação verificável, expandindo provas de conhecimento zero em armazéns de dados descentralizados. Sua tecnologia central Proof of SQL garante a integridade e verificabilidade de consultas SQL, oferecendo uma solução eficiente para a validação de dados.
SxT colaborou com o Laboratório de Inovação da Microsoft AI para desenvolver ferramentas de IA generativa, permitindo que os usuários processem dados de Blockchain através da linguagem natural. No Space and Time Studio, a IA pode converter linguagem natural em SQL e executar consultas.
Conclusão e Perspetivas
A tecnologia de indexação de dados Blockchain evoluiu desde as fontes de dados de nó iniciais, passando pelo desenvolvimento da análise de dados e do indexador, até finalmente se transformar em um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aperfeiçoamento gradual. Esses avanços tecnológicos não apenas melhoraram a eficiência e a precisão do acesso aos dados, mas também proporcionaram uma experiência mais inteligente.
No futuro, com o desenvolvimento de novas tecnologias como a IA e a prova de conhecimento zero, os serviços de dados em blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, os serviços de dados em blockchain continuarão a apoiar a inovação na indústria.