Sự tiến hóa chỉ mục dữ liệu Blockchain: Từ Nút đến dịch vụ toàn chuỗi AI

Sự tiến hóa của công nghệ chỉ mục dữ liệu Blockchain: Từ Nút nguyên thủy đến dịch vụ dữ liệu toàn chuỗi được AI hỗ trợ

1. Giới thiệu

Kể từ khi những dApp đầu tiên ra mắt vào năm 2017, hệ sinh thái ứng dụng blockchain ngày càng phong phú. Khi thảo luận về ứng dụng phi tập trung, chúng ta có bao giờ nghĩ về nguồn gốc của dữ liệu mà những dApp này sử dụng?

Năm 2024, AI và Web3 trở thành chủ đề nóng. Trong lĩnh vực trí tuệ nhân tạo, dữ liệu giống như nguồn sống, rất quan trọng cho việc học tập và tư duy của hệ thống AI. Nếu không có dữ liệu hỗ trợ, ngay cả những thuật toán AI tinh vi nhất cũng khó có thể phát huy trí tuệ.

Bài viết này sẽ đi sâu vào quá trình phát triển của khả năng truy cập dữ liệu Blockchain, phân tích quá trình tiến hóa của chỉ mục dữ liệu, và so sánh các đặc điểm của các giao thức dịch vụ dữ liệu như The Graph, Chainbase và Space and Time, đặc biệt chú ý đến sự đổi mới của hai cái sau trong việc kết hợp công nghệ AI.

2. Sự phức tạp và đơn giản của việc chỉ mục dữ liệu: từ Nút Blockchain đến cơ sở dữ liệu toàn chuỗi

2.1 Nguồn dữ liệu: Blockchain Nút

Blockchain được coi là sổ cái phi tập trung, Nút là cơ sở hạ tầng của nó, có trách nhiệm ghi nhận, lưu trữ và truyền bá tất cả dữ liệu giao dịch trên chuỗi. Tuy nhiên, người dùng thông thường gặp phải thách thức về kỹ thuật và chi phí khi tự xây dựng và duy trì Nút. Mặc dù lý thuyết ai cũng có thể vận hành Nút, thực tế người dùng thường phụ thuộc vào dịch vụ của bên thứ ba.

Để giải quyết vấn đề này, nhà cung cấp nút RPC đã ra đời. Họ quản lý nút và cung cấp dữ liệu qua các điểm cuối RPC, cho phép người dùng truy cập dữ liệu blockchain mà không cần tự xây dựng nút. Các điểm cuối RPC công cộng miễn phí nhưng có giới hạn tốc độ, trong khi các điểm cuối RPC riêng tư có hiệu suất tốt hơn nhưng hiệu quả vẫn cần cải thiện. Giao diện API tiêu chuẩn hóa của nhà cung cấp nút đã giảm bớt rào cản truy cập dữ liệu, tạo nền tảng cho việc phân tích và ứng dụng dữ liệu sau này.

Đọc, chỉ mục đến phân tích, tóm tắt đường đua chỉ mục dữ liệu Web3

2.2 Phân tích dữ liệu: Từ dữ liệu nguyên mẫu đến dữ liệu có thể sử dụng

Dữ liệu gốc được cung cấp bởi Nút Blockchain thường được mã hóa và mã hóa, làm tăng độ khó trong việc phân tích. Đối với người dùng thông thường và các nhà phát triển, việc xử lý trực tiếp những dữ liệu này cần rất nhiều kiến thức kỹ thuật và tài nguyên tính toán.

Quá trình phân tích dữ liệu rất quan trọng, nó chuyển đổi dữ liệu nguyên mẫu phức tạp thành định dạng dễ hiểu và dễ thao tác, giúp người dùng có thể sử dụng dữ liệu một cách trực quan hơn. Chất lượng phân tích ảnh hưởng trực tiếp đến hiệu quả và kết quả của việc ứng dụng dữ liệu, là khâu then chốt trong toàn bộ quy trình lập chỉ mục.

2.3 Sự tiến hóa của bộ chỉ mục dữ liệu

Khi khối lượng dữ liệu Blockchain tăng lên, nhu cầu về bộ chỉ mục ngày càng tăng. Bộ chỉ mục tổ chức dữ liệu trên chuỗi và gửi chúng đến cơ sở dữ liệu để thực hiện truy vấn thuận tiện. Chúng chỉ mục dữ liệu Blockchain và làm cho dữ liệu luôn sẵn có thông qua ngôn ngữ truy vấn giống như SQL ( như GraphQL API ), đơn giản hóa đáng kể quy trình truy xuất dữ liệu.

Các loại bộ chỉ mục khác nhau tối ưu hóa phương thức truy xuất dữ liệu:

  1. Bộ chỉ mục nút hoàn chỉnh: Trích xuất dữ liệu trực tiếp từ nút blockchain hoàn chỉnh, đảm bảo tính toàn vẹn và độ chính xác, nhưng cần nhiều khả năng lưu trữ và xử lý.
  2. Trình lập chỉ mục nhẹ: dựa vào nút hoàn chỉnh để lấy dữ liệu cụ thể theo yêu cầu, giảm nhu cầu lưu trữ nhưng có thể tăng thời gian truy vấn.
  3. Bộ chỉ mục chuyên dụng: Tối ưu cho các loại dữ liệu cụ thể hoặc Blockchain, chẳng hạn như dữ liệu NFT hoặc giao dịch DeFi.
  4. Trình chỉ mục tổng hợp: Trích xuất dữ liệu từ nhiều Blockchain và nguồn, bao gồm thông tin ngoài chuỗi, cung cấp giao diện truy vấn thống nhất, phù hợp với dApp đa chuỗi.

Hiện tại, nút hồ sơ Ethereum chiếm từ 3-13,5 TB dung lượng lưu trữ trên các khách hàng khác nhau và gia tăng theo sự phát triển của blockchain. Đối mặt với khối lượng dữ liệu khổng lồ, các giao thức lập chỉ mục chính hỗ trợ lập chỉ mục đa chuỗi và tùy chỉnh khung phân tích dữ liệu cho các nhu cầu ứng dụng khác nhau, chẳng hạn như khung "subgraph" của The Graph.

Bộ chỉ mục đã cải thiện đáng kể hiệu suất chỉ mục và truy vấn dữ liệu. So với các điểm cuối RPC truyền thống, bộ chỉ mục hỗ trợ chỉ mục hiệu quả cho một lượng lớn dữ liệu và truy vấn tốc độ cao. Chúng cho phép thực hiện các truy vấn phức tạp, lọc dữ liệu và phân tích. Một số bộ chỉ mục còn hỗ trợ tổng hợp nhiều nguồn dữ liệu từ các khối chuỗi, tránh vấn đề triển khai nhiều API cho ứng dụng phi tập trung đa chuỗi. Thông qua việc hoạt động phân tán, bộ chỉ mục cung cấp độ an toàn và hiệu suất mạnh mẽ hơn, giảm thiểu rủi ro gián đoạn có thể xảy ra từ các nhà cung cấp RPC tập trung.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

2.4 Cơ sở dữ liệu toàn chuỗi: Căn chỉnh ưu tiên theo dòng

Việc sử dụng các nút chỉ mục để truy vấn dữ liệu thường phụ thuộc vào API như một cổng dữ liệu duy nhất. Tuy nhiên, khi dự án mở rộng, thường cần đến các nguồn dữ liệu linh hoạt hơn, các API chuẩn hóa khó có thể đáp ứng. Khi nhu cầu ứng dụng trở nên phức tạp, các chỉ mục dữ liệu sơ cấp và định dạng chỉ mục chuẩn hóa khó có thể đáp ứng nhu cầu truy vấn đa dạng, chẳng hạn như tìm kiếm, truy cập xuyên chuỗi hoặc ánh xạ dữ liệu ngoại chuỗi.

Trong kiến trúc ống dẫn dữ liệu hiện đại, phương pháp "ưu tiên dòng" trở thành giải pháp cho những hạn chế của xử lý theo lô truyền thống, thực hiện việc thu thập, xử lý và phân tích dữ liệu theo thời gian thực. Các nhà cung cấp dịch vụ dữ liệu blockchain cũng đang phát triển theo hướng xây dựng dòng dữ liệu, chẳng hạn như Substreams của The Graph, Mirror của Goldsky, cũng như hồ dữ liệu thời gian thực của Chainbase và SubSquid.

Các dịch vụ này nhằm giải quyết nhu cầu phân tích giao dịch theo thời gian thực và cung cấp khả năng truy vấn toàn diện. Chúng hỗ trợ sự phát triển của các ứng dụng và hỗ trợ phân tích dữ liệu trên chuỗi thông qua các nguồn dữ liệu tiên tiến hơn.

Từ góc độ của đường ống dữ liệu hiện đại, việc định nghĩa lại thách thức dữ liệu trên chuỗi, chúng ta có thể nhìn nhận tiềm năng của quản lý, lưu trữ và cung cấp dữ liệu từ một góc độ hoàn toàn mới. Xem các chỉ mục như subgraph và ETL Ethereum là dòng dữ liệu thay vì đầu ra cuối cùng, chúng ta có thể tưởng tượng khả năng tùy chỉnh các tập dữ liệu hiệu suất cao cho bất kỳ trường hợp sử dụng nào.

3. AI + Cơ sở dữ liệu? So sánh sâu về The Graph, Chainbase, Space and Time

3.1 The Graph

Mạng The Graph cung cấp dịch vụ chỉ mục và truy vấn dữ liệu đa chuỗi thông qua mạng nút phi tập trung, giúp các nhà phát triển chỉ mục dữ liệu blockchain và xây dựng ứng dụng phi tập trung. Các mô hình sản phẩm chính của nó bao gồm thị trường thực thi truy vấn dữ liệu và thị trường bộ nhớ đệm chỉ mục dữ liệu, phục vụ nhu cầu truy vấn sản phẩm của người dùng.

Subgraph là cấu trúc dữ liệu cơ bản của mạng The Graph, định nghĩa cách thức trích xuất và chuyển đổi dữ liệu từ Blockchain thành định dạng có thể truy vấn. Bất kỳ ai cũng có thể tạo ra subgraph, nhiều ứng dụng có thể tái sử dụng, nâng cao tính tái sử dụng và hiệu quả sử dụng dữ liệu.

Mạng The Graph bao gồm bốn vai trò chính: Trình chỉ mục, Người biên tập, Người ủy thác và Nhà phát triển, cùng nhau cung cấp hỗ trợ dữ liệu cho các ứng dụng web3.

The Graph đã chuyển sang dịch vụ lưu trữ subgraph hoàn toàn phi tập trung, các bên tham gia khác nhau có động lực kinh tế để đảm bảo hệ thống hoạt động.

Các công cụ AutoAgora, Allocation Optimizer và AgentC được phát triển bởi Semiotic Labs đã nâng cao hiệu suất của hệ sinh thái ở nhiều phương diện, như định giá động, phân bổ tài nguyên tối ưu và truy vấn ngôn ngữ tự nhiên. Việc áp dụng các công cụ này đã giúp The Graph kết hợp AI để nâng cao tính thông minh của hệ thống và sự thân thiện với người dùng.

Đọc, chỉ mục đến phân tích, tóm tắt về lĩnh vực chỉ mục dữ liệu Web3

3.2 Chainbase

Chainbase là một mạng dữ liệu toàn chuỗi, tích hợp tất cả dữ liệu blockchain vào một nền tảng, thuận tiện cho các nhà phát triển xây dựng và duy trì ứng dụng. Các đặc điểm bao gồm:

  • Hồ dữ liệu thời gian thực: Cung cấp hồ dữ liệu thời gian thực chuyên dụng cho dòng dữ liệu blockchain, hỗ trợ truy cập dữ liệu ngay lập tức.
  • Kiến trúc hai chuỗi: Dựa trên Eigenlayer AVS xây dựng lớp thực thi, kết hợp với thuật toán đồng thuận CometBFT tạo thành kiến trúc hai chuỗi song song, tăng cường khả năng lập trình và khả năng kết hợp dữ liệu xuyên chuỗi.
  • Tiêu chuẩn định dạng dữ liệu đổi mới: giới thiệu tiêu chuẩn định dạng dữ liệu "manuscripts", tối ưu hóa cấu trúc và sử dụng dữ liệu trong ngành công nghiệp tiền mã hóa.
  • Mô hình thế giới mã hóa: Kết hợp công nghệ mô hình AI, tạo ra mô hình AI có khả năng hiểu, dự đoán các giao dịch Blockchain và tương tác với chúng, như mô hình phiên bản cơ bản Theia.

Mô hình AI Theia của Chainbase dựa trên mô hình DORA của NVIDIA, kết hợp dữ liệu trên chuỗi và ngoài chuỗi cùng với hoạt động theo không gian và thời gian, phân tích các mẫu mã hóa và đưa ra phản hồi thông qua suy diễn nguyên nhân, khai thác sâu giá trị tiềm năng của dữ liệu trên chuỗi.

AI giúp Chainbase trở thành nhà cung cấp dịch vụ dữ liệu thông minh cạnh tranh hơn, có thể cung cấp cái nhìn dữ liệu rộng rãi hơn và tối ưu hóa quá trình xử lý dữ liệu.

Đọc, chỉ mục đến phân tích, tóm tắt lĩnh vực chỉ mục dữ liệu Web3

3.3 Không gian và Thời gian

Space and Time (SxT) nhằm tạo ra một lớp tính toán có thể xác minh, mở rộng chứng minh không kiến thức trên kho dữ liệu phi tập trung, cung cấp xử lý dữ liệu đáng tin cậy cho hợp đồng thông minh, mô hình ngôn ngữ lớn và doanh nghiệp.

SxT giới thiệu công nghệ Proof of SQL, đây là một công nghệ chứng minh không kiến thức sáng tạo, đảm bảo rằng các truy vấn SQL được thực hiện trên kho dữ liệu phi tập trung có thể ngăn chặn việc bị sửa đổi và xác minh. Proof of SQL tạo ra các chứng minh mã hóa, xác minh tính toàn vẹn và chính xác của kết quả truy vấn, cho phép bất kỳ người xác minh nào cũng có thể xác nhận độc lập rằng dữ liệu không bị sửa đổi.

SxT hợp tác với phòng thí nghiệm đổi mới AI của Microsoft, phát triển công cụ AI sinh ra, giúp người dùng xử lý dữ liệu Blockchain thông qua ngôn ngữ tự nhiên. Space and Time Studio cho phép người dùng nhập truy vấn bằng ngôn ngữ tự nhiên, AI tự động chuyển đổi thành SQL và thực hiện truy vấn, trình bày kết quả cuối cùng.

Đọc, chỉ mục đến phân tích, tóm tắt về lĩnh vực chỉ mục dữ liệu Web3

Kết luận và triển vọng

Công nghệ chỉ mục dữ liệu Blockchain đã phát triển từ nguồn dữ liệu nút ban đầu, qua quá trình phân tích dữ liệu và phát triển bộ chỉ mục, tiến hóa thành dịch vụ dữ liệu toàn chuỗi được trang bị AI, trải qua một quá trình hoàn thiện dần. Những công nghệ này liên tục phát triển, nâng cao hiệu quả và độ chính xác trong việc truy cập dữ liệu, mang lại trải nghiệm thông minh cho người dùng.

Trong tương lai, với sự phát triển của các công nghệ mới như AI và chứng minh không biết, dịch vụ dữ liệu Blockchain sẽ ngày càng thông minh và an toàn hơn. Dịch vụ dữ liệu Blockchain, với tư cách là cơ sở hạ tầng, sẽ tiếp tục đóng vai trò quan trọng, cung cấp hỗ trợ cho sự tiến bộ và đổi mới trong ngành.

Đọc, chỉ mục đến phân tích, tóm tắt về lĩnh vực chỉ mục dữ liệu Web3

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 4
  • Chia sẻ
Bình luận
0/400
SundayDegenvip
· 4giờ trước
Bài viết hay chính là hiểu biết có giá trị
Xem bản gốcTrả lời0
DegenGamblervip
· 4giờ trước
Dữ liệu chuỗi đáng để mua
Xem bản gốcTrả lời0
LootboxPhobiavip
· 4giờ trước
Dữ liệu trên chuỗi thật tuyệt
Xem bản gốcTrả lời0
ruggedNotShruggedvip
· 4giờ trước
Dữ liệu on-chain thúc đẩy tương lai
Xem bản gốcTrả lời0
  • Ghim
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)