Datalayers 文档简体中文
Appearance
系统监控指标
Datalayers 提供丰富的监控指标，帮助用户全面掌握服务运行状态，快速识别和定位系统异常。
本文适合在容量规划、性能分析、故障排查和日常运维场景中使用，可作为 Datalayers 指标查询与监控面板建设的参考入口。
适用场景
- 观察实例 CPU、内存、写入和查询负载
- 判断 Flush、Compact、缓存与写入链路是否存在瓶颈
- 配合 Prometheus 和 Grafana 构建可视化监控与告警规则
与监控系统集成
Datalayers 原生支持与 Prometheus 集成，实现高效的监控数据采集。将 Datalayers 接入第三方监控系统可带来以下优势：
- 统一监控视图：将 Datalayers 的监控数据与其他系统指标整合，构建完整的监控体系
- 可视化展示：通过 Grafana 等工具创建监控面板，直观呈现系统运行状态，详见 系统监控
- 智能告警：利用 Prometheus Alertmanager 实现多通道告警通知，及时发现问题并快速响应
指标使用建议
- 优先关注带有明显阈值建议的核心指标，这些指标更适合作为初始告警规则候选项
- 结合趋势变化而不是单点数值判断问题，例如持续升高的 pending 队列、持续偏高的内存占用
- 将系统级指标与 Datalayers 进程级指标一起观察，避免只看单一指标造成误判
Datalayers Metrics
| Key | Type | 说明 |
|---|---|---|
| datalayers_system_memory_usage | gauge | * Datalayers 节点系统内存使用量，建议峰值负载不高于 60% |
| datalayers_memory_usage | gauge | * Datalayers 进程内存占用，建议峰值时不高于系统总内存的 60% |
| datalayers_cpu_usage | gauge | * Datalayers 进程 CPU 使用率，建议峰值时不高于 60% |
| datalayers_system_cpu_usage | gauge | * Datalayers 节点系统整体 CPU 使用率，建议峰值时不高于 60% |
| datalayers_system_memory_total | gauge | Datalayers 节点系统总内存 |
| datalayers_cpu_total | gauge | Datalayers 节点 CPU core 数量 |
| datalayers_ingest_rows_total | counter | Datalayers 写入的行数 |
| datalayers_select_total | counter | Datalayers select 请求次数 |
| parquet_meta_op_total | counter | parquet meta 缓存相关指标 |
| datalayers_parquet_meta_cache_usage | gauge | Parquet meta 和 statistics 的缓存使用量 |
| datalayers_parquet_meta_cache_config_size | gauge | 缓存 Parquet meta 和 statistics 的最大内存使用量 |
| datalayers_flush_queue_limit | gauge | Flush 任务队列长度限制 |
| datalayers_flush_concurrence_limit | gauge | Flush 并行任务限制 |
| datalayers_flush_pending_length | gauge | * Flush 队列中等待的数量，该值不应该等于 datalayers_flush_queue_limit 的数量 |
| datalayers_flush_running_length | gauge | 正在 Flush 任务的数量 |
| datalayers_compact_queue_limit | gauge | Compact 任务队列长度限制 |
| datalayers_compact_concurrence_limit | gauge | Compact 并行任务限制 |
| datalayers_compact_pending_length | gauge | Compact pending 中的数量 |
| datalayers_compact_running_length | gauge | Compact running 中的数量 |
| datalayers_global_rejected_write | counter | Datalayers 节点 memtable 的数据量达到阈值后拒绝写入的次数 |
| datalayers_rejected_write | counter | Table 分区 memtable 的数据量达到阈值后拒绝写入的次数 |
| latency_flush_per_10m_milliseconds | histogram | Flush 平均生成 10M 数据的延迟 |
| latency_compact_per_10m_milliseconds | histogram | Compact 平均生成 10M 数据的延迟 |
| datalayers_panic_total | counter | Datalayers panic 的次数 |
| datalayers_hybrid_cached_file_memory_config_size | gauge | 缓存对象存储文件内容的最大内存使用量 |
| datalayers_hybrid_cached_file_disk_config_size | gauge | 缓存对象存储文件内容的最大磁盘使用量 |
| datalayers_hybrid_cached_file_meta_memory_config_size | gauge | 缓存对象存储文件 meta 信息的最大内存使用量 |
| datalayers_last_value_cache_usage | gauge | last cache 已使用内存大小 |
| datalayers_last_value_cache_config_size | gauge | last cache 配置的最大使用内存大小 |
| datalayers_last_value_cache_op_total | counter | last cache 相关指标，包括 miss 与 hit |
| datalayers_disk_usage_percent | gauge | 磁盘已使用空间比例 |
| datalayers_disk_read_total | gauge | 磁盘或分区总读取次数，可用于计算 IOPS |
| datalayers_disk_write_total | gauge | 磁盘或分区总写入次数，可用于计算 IOPS |
| datalayers_disk_read_bytes_total | gauge | 磁盘或分区总读取字节数，可用于计算平均读取速度 |
| datalayers_disk_write_bytes_total | gauge | 磁盘或分区总写入字节数，可用于计算平均写入速度 |
| datalayers_disk_io_ticks_total | gauge | 磁盘或分区的非空闲时间 |
| datalayers_network_rx_bytes_total | gauge | 网卡接收的总字节数，可用于计算网卡吞吐速度 |
| datalayers_network_tx_bytes_total | gauge | 网卡发送的总字节数，可用于计算网卡吞吐速度 |
| datalayers_network_rx_packets_total | gauge | 网卡接收的总报文数 |
| datalayers_network_tx_packets_total | gauge | 网卡发送的总报文数 |
| datalayers_license_valid_days | gauge | 许可证剩余有效时间，单位：天 |
FDB Metrics
| Key | Type | 说明 |
|---|---|---|
| fdb_database_available | gauge | * 元数据服务状态，0 不健康，1 状态 |
| fdb_process_disk_free_bytes | gauge | * 元数据存储磁盘已使用空间大小，单位：bytes, 使用空间超过 95% 会导致服务不可用 |
| fdb_exporter_latency_seconds | gauge | * 访问元数据服务的时延，单位：秒。不应该大于 1 |
| fdb_process_disk_total_bytes | gauge | 元数据存储磁盘的总空间大小，单位：bytes |
FDB Backup Metrics
| Key | Type | 说明 |
|---|---|---|
| fdb_backup_bytes_per_second | gauge | 备份速度，单位：bytes/s |
| fdb_backup_requests_failed | gauge | 备份失败的次数 |
| fdb_backup_requests_successful | gauge | 备份成功的次数 |
| fdb_backup_paused | gauge | 备份是否暂停，1表示暂停，0表示未暂停 |
| fdb_backup_total_workers | gauge | 备份实例总的 worker 数量 |
| fdb_backup_instances_running | gauge | 正在运行中的备份实例的数量 |
| fdb_backup_instances_total | gauge | 总的备份实例的数量 |
| fdb_backup_instance_bytes_per_second | gauge | 每个备份实例的备份速度，单位：bytes/s |
| fdb_backup_tags_total | gauge | 总的备份 tag 的数量 |
| fdb_backup_tag_current_status | gauge | 指定 tag 的备份的当前状态，状态值在下面说明 |
| fdb_backup_tag_seconds_behind | gauge | 指定 tag 的备份落后最新状态时间，单位：s |
| fdb_backup_tag_bytes_written | gauge | 指定 tag 的备份的写入字节数，单位：bytes |
| fdb_backup_tag_is_running_backup | gauge | 指定 tag 的备份是否正在执行，1表示是，0表示否 |
fdb_backup_tag_current_status 的取值含义
| 取值 | 说明 |
|---|---|
| 0 | 没有取到状态，或未知的状态 |
| 1 | 已提交备份任务 |
| 2 | 已开始备份任务 |
| 3 | 正在进行差异备份 |
| 4 | 已成功完成备份 |
| 5 | 备份任务从未开始 |
| 6 | 备份任务被终止 |
| 7 | 备份任务被部分终止 |
| 8 | 备份任务出错 |
相关文档
- 想了解如何采集和展示这些指标，请参考 系统监控
- 想根据指标调整服务配置，请参考 配置文件介绍
- 想进行系统级性能优化，请参考 Datalayers 系统调优指南