索引管理

平台将日志与索引剥离，以低成本的摄入全量的Log。只需要针对有分析价值的Log进行索引。也可以基于业务侧的需求，通过调整过滤器、采样率来调整索引的策略。

索引管理

索引列表

日志输入它们匹配过滤器的第一个索引。支持调整索引优先级。

索引过滤器允许动态控制哪些日志流入哪些索引。索引支持过滤和排除过滤两种手段。

平台默认提供一个main索引，不支持删除。支持编辑、查询日志。

对于用户自定义的索引，支持编辑、查询日志、删除，删除后仍然会显示在列表。以红色删除图标标识。删除后的索引支持编辑、查询日志。对于排除过滤器，支持编辑、查询日志、删除、启用禁用。

创建索引

日志索引

日志索引允许将数据以过滤的方式（过滤同查询组件）重新组织。

支持配置不同的保留时长（7、15、30天）、配额存储大小（默认200million/天,支持自定义），从而实现对日志管理预算的细粒度控制。

支持配置排除过滤器，通过属性、标签、TraceID、所有日志进行一定比例的排除。

外部索引

目前日志模块支持日志易、ELK两种类型的外部索引。

日志易索引

对接日志易数据，一般只支持一个单独日志，即“日志易”索引，打开配置后将在平台外部索引部分生成一个“日志易”索引，点击编辑可以进行字段匹配的映射。

• 上下文关联字段：输入任意字段作为上下文日志判断的标识，在日志查询查看上下文日志时此字段值相同的日志将被判断为上下文关联日志。
• 实体字段映射：
  • 字段关联：输入外部字段和实体字段直接进行字段映射，比如平台服务识别名称为“serviceDetectedName”，在客户侧的服务名称为“servicename”，通过字段关联可以实现字段的映射，保证在平台使用服务识别名称查询数据时能够正常查询。关联实体字段不可重复匹配。
  • 常量关联：部分实例可能不满足字段关联的条件，例如服务A的名称字段为“sname”，不满足字段关联中的“servicename”字段，所以针对服务A设置固定的常量关联条件，在查询服务A实例的日志时将按照常量关联配置的条件“sname==A”进行查询。

ELK索引

对接ELK日志，存在多个日志索引，因此在开启ELK索引配置后，外部索引将支持新增、编辑、删除能力

• 索引名称：自定义名称需要保证与客户ELK中索引名称保持一致，选择对应的索引时将直接查询客户侧索引下的数据。
• 字段映射：将ONE平台的日志元数据字段与客户侧的ELK字段进行映射。
  • 元数据：从日志元数据中进行选择，默认选择logMessage字段，不可删除
  • ELK字段：每个元数据在ELK中对应的字段key，需要自定义输入正确的字段，与日志元数据进行映射，在日志查询部分选择条件查询时将映射为对应的ELK字段查询客户侧的日志数据。