Datalayers 中文文档

Datalayers 是面向可观测性、物联网、日志分析与 AI 应用场景的分布式多模态数据库。在统一架构下，Datalayers 同时提供时序存储、全文检索、向量检索、键值存储与流计算能力，并以 SQL 作为主要查询语言，兼容 PromQL、Redis 协议和 InfluxDB Line Protocol。

相比将多种数据库和流处理系统拼接在一起，Datalayers 更强调统一的数据链路能力：从数据接入、实时处理、冷热分层存储，到检索分析与生态集成，均可在同一平台内完成。这有助于降低系统复杂度，并在性能、成本与运维效率之间取得更好的平衡。

适用场景

• 可观测性平台：统一承接指标、日志、事件等多类型数据，支持实时写入、检索与分析
• IoT / IIoT：面向设备遥测、传感器数据和边缘采集场景，支持高吞吐写入与资源受限环境（边缘网关、盒子等）部署
• AI 检索增强：结合向量检索、全文检索与结构化过滤，支持混合检索与知识召回
• 实时数据处理：从 Kafka、MQTT、HTTP 等数据源持续接入数据，并在入库前完成过滤、投影与转换

核心功能特性

时序存储与分析

• 面向海量时间序列数据设计，适用于监控指标、设备遥测、工业采样等高并发写入场景
• 通过优化的时序索引、存储布局与向量化执行，支持低延迟查询和高效聚合分析
• 支持按数据类型自动选择编码与压缩策略，也可按业务需求手动指定存储参数

向量检索

• 支持 VECTOR(dim) 类型，维度范围为 [1, 16383]
• 支持 IVF、HNSW 等向量索引算法，可在召回效率与检索精度之间灵活权衡
• 支持向量检索与 SQL 条件联合使用，在同一查询链路中完成召回、过滤与排序

全文检索

• 基于倒排索引提供面向 STRING 列的全文检索能力
• 支持 MATCH、QUERY、SCORE() 等检索函数，满足关键词、短语和布尔表达式检索需求
• 采用 BM25 相关性评分，适用于日志、事件、审计记录等文本密集型场景

流计算

• 提供 SQL 风格的流式处理能力，支持从 Kafka、MQTT、HTTP 等外部系统持续接入数据
• 支持基于 SOURCE、PIPELINE、SINK TABLE 的实时过滤、投影与入库处理链路
• 适用于实时清洗、预处理、告警前置计算和在线数据转换等场景

键值存储

• 支持 TB 到 PB 级别的分布式键值存储
• 兼容 Redis 核心数据结构与协议，便于现有 Redis 业务平滑迁移或统一纳管

存算分离架构

• 存储与计算资源可独立扩展，提升资源利用率并降低容量规划压力
• 支持按需弹性伸缩，适应写入峰值、查询波动与长期存储需求
• 支持主流云对象存储及兼容 S3 协议的存储服务，便于构建低成本长期存储方案

边缘与受限环境支持

• 面向资源受限设备和边缘节点（边缘网关、盒子等）进行优化
• 在有限 CPU、内存和存储条件下，仍可提供高效、稳定的数据写入与查询能力
• 适用于边缘采集、边缘缓存与边云协同场景

应用集成

• 支持 Arrow Flight SQL、PostgreSQL 连接协议
• 支持 InfluxDB Line Protocol、Prometheus 查询协议与 Remote Write 协议，便于接入现有监控与数据生态
• 支持 JDBC 驱动接入，同时提供多语言 SDK，支持应用、平台和数据工具的快速集成
• 以 SQL（兼容 MySQL、PostgreSQL 方言）作为主要查询语言，降低学习和迁移成本