使用 Kafka 集成自定义数据

ONE 平台通过消费 Kafka中的数据，来集成外部数据源中的监控数据。Kafka 方式不限制数据类型，您可以通过 Kafka 来集成指标、告警、调用链、日志、实体等类型数据。

前置条件

• ONE 平台能够访问 Kafka 服务所在的环境。

开始使用

数据源端配置

将数据发送到 Kafka 的 Topic 中。

ONE 平台配置

• 进入数据集成 -> 数据接入页面，找到 Kafka 接入卡片，点击开始集成。
• 填写数据源端配置 Kafka Topic 相关信息。 kafka高级参数，用于控制kafka消费者配置，例如：从最早或者最晚的消费，相关参数为kafka参数列表 ： https://kafka.apache.org/documentation/#connectconfigs 格式（多个参数换行配置）：auto.offset.reset=latest
• 保存任务配置。
• 任务创建完成后，默认是未启用状态，需要手动开启进行数据处理。

配置数据流

• ONE 平台并没有对自定义格式的数据预置默认数据处理流，需手动配置数据处理流后开启任务才能将数据接收到 ONE 平台中。

验证

• 指标数据在 观测洞察 -> 数据模型 ->指标 或 观测洞察 -> 数据探索 下查看。
• 日志数据在 日志分析 -> 日志查询 下查看。
• 事件数据在 观测洞察 -> 事件中心 下查看。
• 调用链数据在 观测洞察 -> 检索中心->调用链 下查看。