数据处理介绍
信息
当交付实施人员需要将云产品或外部监控系统的数据接入 Bonree ONE,并按业务场景整理数据时,可以通过自定义集成创建接入任务,再检查或调整任务的数据流,使接收的数据按指定流程处理并用于查询和监控。
数据集成用于选择接入方案并配置数据来源;数据处理用于管理接入任务及其处理流程。自定义集成连接这两个阶段:在数据集成页面完成接入配置后,进入数据处理页面管理对应任务和数据流。
判断何时使用数据处理
先明确数据来源和处理目标,再选择接入方案与所需的处理流程。
接入云产品监控指标
需要观测 AWS EC2 等云产品时,先查找对应集成并配置采集任务,再检查数据流和实际指标数据,确认目标资源的数据能够用于后续查询。
整理外部监控系统的数据
接入外部系统后,需要解析原始字段、转换字段值或调整输出内容时,可在任务的数据流中配置处理组件,并检查输出是否符合后续分析要求。
调整已有任务的处理方式
已经有接入任务,但现有流程不能满足处理要求时,可编辑或复制数据流,发布需要使用的版本,再核对后续数据的处理结果。
理解接入与处理的关系
| 概念 | 在使用过程中的作用 |
|---|---|
| 数据源 | 提供原始可观测数据,例如 Prometheus、Zabbix 或云产品 |
| 自定义集成 | 提供针对外部数据源及特定治理场景的接入方案 |
| 数据任务 | 管理数据的接入及处理,是进入数据流的入口 |
| 数据流 | 对接收的数据进行解析、转换和输出;同一任务同一时间只有一个处于部署状态的版本 |
| 集成资源 | 集成提供的指标、仪表盘和告警模板等内容,具体资源取决于该集成 |
从自定义集成开始接入与处理
首次接入时,按以下顺序完成从选择数据源到验证数据的过程;已有任务时,可直接进入数据流管理。
- 选择接入方案:确认目标集成、采集条件和可用资源。
- 创建接入任务:填写任务与采集配置,保存后到数据任务列表核对结果。
- 检查或调整数据流:核对处理组件及执行顺序,需要调整时发布所需版本。
- 验证实际数据:检查任务状态、部署版本和目标数据,再使用相应监控资源。
完整操作见通过自定义集成创建数据任务。集成资源的安装和后续维护见管理自定义集成资源。
按当前目标继续使用
根据是否需要规划、执行或排查,选择下一步文档。
- 最佳实践:规划接入与数据流变更,了解指标依赖和版本调整的判断依据。
- 使用指南:首次接入阅读创建数据任务;已有任务阅读任务管理;维护预置资源阅读集成资源管理。
- 常见问题:检查任务生成和数据流生效问题,按可观察到的现象确定下一步检查动作。