跳到主要内容

数据处理介绍

信息

当交付实施人员需要将云产品或外部监控系统的数据接入 Bonree ONE,并按业务场景整理数据时,可以通过自定义集成创建接入任务,再检查或调整任务的数据流,使接收的数据按指定流程处理并用于查询和监控。

数据集成用于选择接入方案并配置数据来源;数据处理用于管理接入任务及其处理流程。自定义集成连接这两个阶段:在数据集成页面完成接入配置后,进入数据处理页面管理对应任务和数据流。

判断何时使用数据处理​

先明确数据来源和处理目标,再选择接入方案与所需的处理流程。

接入云产品监控指标

需要观测 AWS EC2 等云产品时,先查找对应集成并配置采集任务,再检查数据流和实际指标数据,确认目标资源的数据能够用于后续查询。

整理外部监控系统的数据

接入外部系统后,需要解析原始字段、转换字段值或调整输出内容时,可在任务的数据流中配置处理组件,并检查输出是否符合后续分析要求。

调整已有任务的处理方式

已经有接入任务,但现有流程不能满足处理要求时,可编辑或复制数据流,发布需要使用的版本,再核对后续数据的处理结果。

理解接入与处理的关系​

概念在使用过程中的作用
数据源提供原始可观测数据,例如 Prometheus、Zabbix 或云产品
自定义集成提供针对外部数据源及特定治理场景的接入方案
数据任务管理数据的接入及处理,是进入数据流的入口
数据流对接收的数据进行解析、转换和输出;同一任务同一时间只有一个处于部署状态的版本
集成资源集成提供的指标、仪表盘和告警模板等内容,具体资源取决于该集成

从自定义集成开始接入与处理​

首次接入时,按以下顺序完成从选择数据源到验证数据的过程;已有任务时,可直接进入数据流管理。

  1. 选择接入方案:确认目标集成、采集条件和可用资源。
  2. 创建接入任务:填写任务与采集配置,保存后到数据任务列表核对结果。
  3. 检查或调整数据流:核对处理组件及执行顺序,需要调整时发布所需版本。
  4. 验证实际数据:检查任务状态、部署版本和目标数据,再使用相应监控资源。

完整操作见通过自定义集成创建数据任务。集成资源的安装和后续维护见管理自定义集成资源。

按当前目标继续使用​

根据是否需要规划、执行或排查,选择下一步文档。

  1. 最佳实践:规划接入与数据流变更,了解指标依赖和版本调整的判断依据。
  2. 使用指南:首次接入阅读创建数据任务;已有任务阅读任务管理;维护预置资源阅读集成资源管理。
  3. 常见问题:检查任务生成和数据流生效问题,按可观察到的现象确定下一步检查动作。