数据处理

日志数据经预处理流入数据处理流程环节，通过匹配过滤条件进入相应的处理流程中。

开始使用

处理流程列表

数据只会受到一个处理流程的作用，优先级高的生效。每个处理流程最多使用 20 个处理器。在一个Grok 处理器中最多使用 10 个解析规则。平台会自动识别数据源，并加载相应的数据处理流程，无需用户手动配置。用户可以点击处理流程库以查看平台支持哪些处理流程。

Json解析

平台针对json格式数据自动解析，无需配置。

处理流程库

平台会自动识别数据源，并加载相应的数据处理流程，无需用户手动配置。数据处理流程由处理器与继承的数据处理流程构成，以解析日志。

新建处理流程

当默认的处理流程无法满足用户需求时，可以新建处理流程。处理流程由处理器或嵌套的处理流程组成。

处理流程有两种类型，一种为平台内置的处理流程（只读），一种为用户自定义的处理流程（自定义）。

只读类型支持操作：查看、查询日志、log tail、移动、克隆 操作、启用禁用。

操作	效果
查看	查看处理流程详情页，信息全部置灰不可修改。
查询日志	新开页查询日志
log tail	新开页log tail
移动	显示移动弹窗
克隆	点击后，基于该处理流程新建一个完全一致的处理流程，但是具备编辑权限。旧的处理流程自动禁用。新的处理流程开启。新的流程在当前被克隆的流程后面。
启用禁用	启用后规则生效，禁用后规则不生效。

自定义类型支持操作：编辑、查询日志、log tail、移动、克隆 、删除、启用禁用。

操作	效果
编辑	打开处理流程详情页，信息可修改。
查询日志	新开页查询日志
log tail	新开页log tail
移动	显示移动弹窗
克隆	点击后，基于该处理流程新建一个完全一致的处理流程，但是具备编辑权限。旧的处理流程自动禁用。新的处理流程开启。新的流程在当前被克隆的流程后面。
删除	点击弹窗提示，按照原型文案提示，点击确定删除，则删除该条规则。新的数据将不会经过该规则处理。接受一定时间的延迟。但不建议超过3分钟。
启用禁用	启用后规则生效，禁用后规则不生效。

处理器

平台支持Grok解析器，重映射，User-Agent解析器，Url解析器，GeoIP解析器，Date重映射，Body重映射，Status重映射，Service重映射，分类处理器，算数处理器、String Builder 处理器、Trace Id重映射、Lookup处理器。

处理器有两种类型，一种为平台内置的（只读），一种为用户自定义的（自定义）。

只读类型支持操作：查看。查看处理器情页，信息全部置灰不可修改。

自定义类型支持操作：编辑、克隆 、移动、删除、启用禁用。

操作	效果
编辑	打开处理器详情页，信息可修改。
克隆	点击后，基于该处理器新建完全一致的处理器。旧的处理器不会被禁用。新的处理器在该处理器下方，优先级较低。
移动	支持将算子移动到别的处理流程中（嵌套）。或直接拖拽移动也可。
删除	点击弹窗提示，按照原型文案提示，点击确定删除，则删除该条规则。新的数据将不会经过该处理器处理。接受一定时间的延迟。但不建议超过3分钟。
启用禁用	启用后规则生效，禁用后规则不生效。

Grok解析器

Grok：基于 GROK 语法解析字段，用于字段提取。默认从 body 字段中使用 Grok 解析器进行字段提取，使用高级设置 中 ”提取自“可以随意指定提取的字段。对于比较复杂的嵌套规则，可以使用子规则。

支持自动解析功能。日志自动获取新接入的日志，并自动提供对应的解析规则。如果没有接入日志，提示：我们没有发现最近的索引匹配到该处理流程。如果Livetail中看到有日志接入，但无法自动解析，需要去确认这些日志是否被存储到索引中，可能是使用了排除处理器。

对于有匹配规则的日志标识规则解析匹配，对于不匹配的情况标识规则解析不匹配。

重映射

将已有的属性/标签key重新映射到新的属性路径/标签key下。

保留源属性，开启表示原属性仍然保存并可见，关闭表示原属性无需保存无需展示。

忽略冲突：按照替换的逻辑处理，不忽略就不替换。

强制修改属性类型，支持string、integer、double。默认为string，默认开启。

对于映射为标签时，仅支持保留原属性、忽略冲突两种配置。

User-Agent解析器

将 User-Agent 字段的信息基于其规范识别其位置、设备等信息。

支持配置UrlDecode,UrlDecode是对字符串进行URL解码的编码处理函数。通过urlencode编码后的字符串,可通过UrlDecode进行解码。

Url解析器

用于URL解析，将 Url 字段的信息基于其规范识别其 scheme、host、path、queryString 等信息。

GeoIP解析器

GeoIP 解析器：用于 IP 地址解析，用于获取一个IP地址属性，并提取目标属性路径中的国家、地区或城市信息。

Date重映射

将某属性映射为时间字段

Body重映射

某属性映射为Body字段。

Service重映射

将某属性映射为服务字段。

分类处理器

支持过滤日志属性，以生成新类型。通过输入查询过滤条件来过滤匹配的对象，并将符合条件的日志映射到设置的名称。分类最多添加50个。支持分类项的新增、编辑、删除。点击值名称则将输入的信息反显至输入框，修改信息也会同步修改至回顾添加的实例。

算术处理器

支持属性值计算。支持通过加减乘除来计算属性，支持一个或多个属性之间的计算。支持配置缺失属性以0处理。

支持的运算符：+ - * / ( )

String Builder 处理器

支持将多个属性组合成一个新的属性。支持配置缺失属性以空字符串处理。

Trace Id重映射

将某属性映射为 Trace ID 字段

Lookup处理器

支持将外部数据和日志数据关联。

支持手动映射和表格映射两种方式。表格支持CSV格式。

通过主键相同的值来关联两方的数据。支持配置回退值：如果没有找到该字段的值。就会显示这个回退值。