CCE接入 section573a750d001b9068)。 说明 1. 默认选择集群所在的主机组,您可以根据需要选择其他已创建的主机组。 2. 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。 3. 主机组可以为空,但是会导致采集配置不生效,建议第一次接入时选择主机组。若不选择,可以在接入配置设置完成后对主机组进行设置。 4. 在接入配置详情中对主机组和接入配置进行关联。 2. 单击“下一步:采集配置”。 7. 采集配置。 设置具体的采集规则,具体可参考采集配置。 8. 结构化配置(可选项)。 结构化配置,具体请参考云端结构化解析。 说明 当所选日志流已配置结构化时,请谨慎执行删除操作。 9. 索引配置(可选项)。 索引配置,具体请参考索引配置。 10. 单击“提交”,完成CCE接入。 采集配置 在使用CCE接入完成日志接入时,在采集配置页面的具体配置如下: 1. 基本配置:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 2. 数据源配置:选择数据源类型,进行对应的数据源配置。 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。 说明 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。 容器标准输出不能重复配置,即使跨日志组和日志流,也只能配置一次。 容器文件路径:采集集群内指定容器内的文件路径日志。 节点文件路径:采集集群内指定节点路径的文件。 说明 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 K8S事件:采集K8S集群内的事件日志。 说明 K8S事件不能重复配置,即一个K8S集群的K8S事件,只能配置接入到一个日志流。 表 1 采集配置参数表 类型 参数配置 容器标准输出 采集容器标准输出到AOM、采集容器标准输出(stdout)和采集容器标准错误(stderr)。 采集容器标准输出到AOM:默认集群下的主机已安装了ICAgent且采集日志到AOM,采集容器标准输出到AOM的开关处于开启状态。 开启后标准输出只会采集到AOM,不会采集到LTS,建议您手动关闭该开关。 采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。 容器文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 当CCE集群的工作负载中,已配置容器的挂载路径时,此时路径配置里添加的路径将无效。 须将CCE集群页面中的挂载路径删除后,该配置才有效。采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。 指定按目录过滤,可过滤掉该目录下的所有文件。 节点文件路径 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。 指定按目录过滤,可过滤掉该目录下的所有文件。 K8S事件 无需设置参数。仅支持icagent 5.12.130及以上版本。 3. K8s匹配规则:当数据源类型选择容器标准输出和容器文件路径时,设置K8s匹配规则,非必选项。 说明 填写正则匹配规则后,单击校验按钮,支持校验确保正则表达式的正确性。 表 2 K8s匹配规则 参数名称 参数说明 K8s Namespace正则匹配 通过Namespace名称指定采集的容器,支持正则匹配。采集名称符合正则规则的Namespace的日志,为空时采集所有Namespace的日志。 K8s Pod正则匹配 通过Pod名称指定待采集的容器,支持正则匹配。 采集名称符合正则规则的Pod的日志,为空时采集所有Pod的日志。 K8s容器名称正则匹配 通过容器名称指定待采集的容器(Kubernetes容器名称是定义在spec.containers中),支持正则匹配。采集名称符合正则规则的容器的日志,为空时采集所有容器的日志。 K8s Label白名单 通过K8s Label白名单指定待采集的容器。 如果您要设置K8s Label白名单,那么LabelKey必填,LabelValue可选填。 若LabelValue为空,则K8S Label中包含LabelKey的容器都匹配; 若LabelValue不为空,则K8S Label中包含LabelKeyLabelValue的容器才匹配; LabelKey需要全匹配,LabelValue支持正则匹配;多个白名单之间为或关系,即只要K8S Label满足任一白名单即可被匹配。 K8s Label黑名单 通过K8s Label黑名单排除不采集的容器。如果您要设置K8s Label黑名单,那么LabelKey必填,LabelValue可选填。 若LabelValue为空,则K8S Label中包含LabelKey的容器都被排除; 若LabelValue不为空,则K8S Label中包含LabelKeyLabelValue的容器才会被排除; LabelKey需要全匹配,LabelValue支持正则匹配; 多个黑名单之间为或关系,即只要K8S Label满足任一黑名单即可被排除。 K8s Label日志标签 设置K8s Label日志标签后,日志服务将在日志中新增K8s Label相关字段。设置K8s Label日志标签后,lts将在日志中新增相关字段。 例如设置LabelKey为app,设置LabelValue为appalias,当容器中包含applts时,将在日志中添加内容{appalias:lts}。 容器Label白名单 通过容器Label白名单指定待采集的容器。 如果您要设置容器Label白名单,那么LabelKey必填,LabelValue可选填。 若LabelValue为空,则容器 Label中包含LabelKey的容器都匹配; 若LabelValue不为空,则容器 Label中包含LabelKeyLabelValue的容器才匹配; LabelKey需要全匹配,LabelValue支持正则匹配; 多个白名单之间为或关系,即只要容器 Label满足任一白名单即可被匹配。 容器Label黑名单 通过容器Label黑名单排除不采集的容器。 如果您要设置容器Label黑名单,那么LabelKey必填,LabelValue可选填。 若LabelValue为空,则容器 Label中包含LabelKey的容器都被排除; 若LabelValue不为空,则容器 Label中包含LabelKeyLabelValue的容器才会被排除; LabelKey需要全匹配,LabelValue支持正则匹配; 多个黑名单之间为或关系,即只要容器Label满足任一黑名单即可被排除。 容器Label日志标签 设置容器Label日志标签后,日志服务将在日志中新增容器Label相关字段。 设置容器 Label日志标签后,lts将在日志中新增相关字段。 例如设置LabelKey为app,设置LabelValue为appalias,当容器中包含applts时,将在日志中添加的内容{appalias:lts}。 环境变量白名单 用于指定待采集的容器。 如果您要设置环境变量白名单,那么Label Key必填,Label Value可选填。 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都匹配; 如果环境变量Value不为空,则容器环境变量中包含环境变量Key环境变量Value的容器才被匹配; LabelKey需要全匹配,LabelValue支持正则匹配; 多个白名单之间为或关系,即只要容器的环境变量满足任一键值对即可被匹配。 环境变量黑名单 用于排除不采集的容器。 如果您要设置环境变量黑名单,那么Label Key必填,Label Value可选填。 如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都将被排除; 如果环境变量Value不为空,则容器环境变量中包含环境变量Key环境变量Value的容器才会被排除; LabelKey需要全匹配,LabelValue支持正则匹配; 多个黑名单之间为或关系,即只要容器的环境变量满足任一键值对即可被排除。 环境变量日志标签 设置环境变量日志标签后,日志服务将在日志中新增环境变量相关字段。 设置环境变量日志标签后,lts将在日志中新增相关字段,例如设置环境变量Key为app,设置环境变量Value为appalias,当容器中包含环境变量applts时,将在日志中添加的内容为{appalias:lts}。 4. 其他配置。 表 3 其他配置 名称 说明 日志拆分 云日志服务支持对日志进行拆分,默认为关闭状态。 当日志大小超过500KB时,开启日志拆分按钮,则单行日志会被拆分为多行采集。 例如:日志大小为600KB,被拆分为2行日志采集,第一行500KB,第二行100KB。 当日志大小超过500KB时,未开启日志拆分按钮,则单条日志大小限制不超过500KB,超过限制部分会被截断丢弃。 采集二进制文件 云日志服务支持采集二进制文件,默认为关闭状态。 您可以通过命令(file i 文件名 )查看文件类型,如果包含charsetbinary,那么该日志文件就是二进制文件。 当日志的文件类型为二进制时,开启采集二进制文件按钮,则对接入的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 5. 日志格式、日志时间具体说明如下: 表 4 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 日志时间 系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。 ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符 用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。 如果日志中的时间格式为:20190101 23:59:59.011,时间通配符应该填写为:YYYYMMDD hh:mm:ss.SSS。 如果日志中的时间格式为:1911 23:59:59.011,时间通配符应该填写为:YYMD hh:mm:ss.SSS。 如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。 填写示例: YY year (19) YYYY year (2019) M month (1) MM month (01) D day (1) DD day (01) hh hours (23) mm minutes (59) ss seconds (59) SSS millisecond(999) hpm hours (03PM) h:mmpm hours:minutes (03:04PM) h:mm:sspm hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志; 当选择“正则模式”时,则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。 日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 说明 时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志系统时间模式即可。