跳到主要内容

日志模型

新版日志模型说明

属性类型属性名称属性ID字段类型是否作为快捷过滤字段说明历史模型对比(新增哪些属性)
预置属性索引indexstring日志所属索引
发生时间monitorTimeUsdatetime从日志原文当中解析出的发生时间,毫秒级别
采集时间recordTimeMsdatetime
入库时间receiveTimeMsdatetime新增
日志uidlogUidstring日志数据的唯一标识
traceIdtraceIdstring用于日志关联Trace新增
spanIdspanIdstring用于日志关联span新增
sessionIdsessionIdstring用于日志关联应用新增
日志状态logStatusstring表示每条日志状态,如果不填默认为unknown。日志模型当中日志状态为字典,但是在元属性中日志状态不是字典
日志原文logMessagestring
日志源logSourcestring用于区分日志产生的源头,通过日志源、traceid、设备id进行上下文判断
日志模式logPatternstring模式识别之后的聚合内容
日志路径logFilePathstring日志原始路径新增
日志格式化路径按照日志采集配置中的高级设置进行归一化,由探针进行处理(etl算子中可以支持用户映射,映射之后通过规则进行归一化)新增
相关实体releatedEntityjson实体类型不固定,由数据驱动,json当中包括实体类型和实体id。所有实体相关的条件都是直接查询相关实体或者联查到实例id再查询相关实体新增
日志探针版本logAgentVersionstring历史逻辑当中探针标签采集的内容,按照同样的逻辑进行采集,只是数据模型做了调整新增
日志探针类型logAgentTypestring新增
设备名称deviceNamestring平台没有设备的概念,定义成预置属性用户不理解设备和其他信息的关系,探针采集日志deviceName取主机名,应用探针采集日志deviceName取应用名新增
设备IDdeviceIdnumber探针采集日志取主机machineguid/应用探针采集日志取终端应用deviceid设备id和设备名称就是用于查询日志上下文的字段新增
sourceHashsourceHashstring确认日志文件的唯一标识新增
标签(沿用数据标签)tag1.当前设计模型当中没有标签字段,如果需要的话首先需要在模型当中增加标签字段2.标签来自自定义源路径添加、第三方日志通过协议接入、数据处理流手动添加、etl处理流手动条件,写入时都作为数据标签,同时在页面上进行展示
数据中心dataCentrtIdstring作为固定的解析属性进行处理,etl数据流和数据处理当中固定显示一个解析属性配置,不可修改。保证历史数据的兼容性。数据中心取值逻辑:对于探针采集或者第三方日志接入的数据,在探针部署或者接入时已经选择了数据中心,数据中心作为预置属性还是解析属性其实都可以,因为都是模型提前定义好的
实体属性服务名称entity,service.customizedNametext
服务实例名称entity,serviceinstance.customizedNametext
进程名称entity.process,customizedNametext
容器名称entity.container.customizedNametext
Pod名称entity.k8spod.customizedNametext
应用名称entity.app.customizedNametext
主机名称entity.host.customizedNametext
Kubernetes cluster名称entity.k8scluster.customizedNametext
Kubernetes node名称entity.k8snode.customizedNametext
Kubernetes namespace名称entity.k8snamespace.customizedNametext
Kubernetes workload名称entity.k8sworkload.customizedNametext
Kubernetes service名称entity.k8sservice.customizedNametext
  • 字段说明:
    • 属性类型:
      • 预置属性:固定的日志属性,表示了日志的基本信息,所有日志数据都存在的属性
      • 标签:和历史的日志标签概念不同,不再保留探针上报的标签,将有用的信息提取到预置标签当中。新的日志模型中标签是展示日志的数据标签,标签来源于自定义源路径定义时添加的标签、数据流处理时选择的标签、etl接入日志打上的数据标签、otel协议接入的标签
      • 解析属性:通过数据处理提取、标注属性映射、etl接入映射之后动态注册的元属性,但并不是全部的解析属性都在快捷过滤中展示
      • 实体属性:来自 meta 实体模型的属性,固定的几类实体名称
    • 属性名称:属性字段名称
    • 字段类型:
      • 预置属性的字段类型是固定的,解析属性的字段类型是在创建时会自动识别为文本或数值类型
    • 是否作为快捷过滤
      • 日志模型包括预置属性和解析属性,但并不是全部的属性都在日志查询过滤框以及其他业务方引用
      • 需要通过这个标识来判断是否要展示出来提供用户使用
      • 标记为快捷过滤功能在日志查询页面配置