集群日志管理方案

apiVersion: v1
kind: Pod
metadata:
  name: counter
spec:
  containers:
    - name: count
      image: busybox
      args:
        - /bin/sh
        - -c
        - >
          i=0;
          while true;
          do
            echo "$i: $(date)" >> /var/log/1.log;
            echo "$(date) INFO $i" >> /var/log/2.log;
            i=$((i+1));
            sleep 1;
          done
      volumeMounts:
        - name: varlog
          mountPath: /var/log
    - name: fluentd
      image: k8s.gcr.io/fluentd-gcp:1.30
      env:
        - name: FLUENTD_ARGS
          value: -c /etc/fluentd-config/fluentd.conf
      volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: config-volume
          mountPath: /etc/fluentd-config
  volumes:
    - name: varlog
      emptyDir: {}
    - name: config-volume
      configMap:
        name: fluentd-config

# 内网环境可以直接关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

# 安装
yum install -y nfs-utils rpcbind

# 创建数据共享目录
mkdir -p /data/nfs
chmod 755 /data/nfs

# 配置共享目录
cat >  /etc/exports <<EOF
/data/nfs *(rw,sync,no_root_squash)
EOF

# *：表示任何人都有权限连接，当然也可以是一个网段，一个 IP，也可以是域名
# rw：读写的权限
# sync：表示文件同时写入硬盘和内存
# no_root_squash：当登录 NFS 主机使用共享目录的使用者是 root 时，其权限将被转换成为匿名使用者，通常它的 UID 与 GID，都会变成 nobody 身份

# 启动nfs服务
systemctl start rpcbind.service
systemctl enable rpcbind
systemctl status rpcbind
systemctl start nfs
systemctl enable nfs
systemctl status nfs

sudo yum install -y nfs-utils 

sudo apt install -y nfs-common

helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

# 镜像地址可以更换为自己的
helm upgrade --install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner --set nfs.server=192.168.2.50 --set nfs.path=/data/nfs --set storageClass.defaultClass=true --set image.repository=crpi-sozjkv641zbs4m9x.cn-shenzhen.personal.cr.aliyuncs.com/pingk-k8s-test/nfs-subdir-external-provisioner --set image.tag=v4.0.2 -n kube-system

# 运行容器生成证书
mkdir -p /logging/elastic-certs
nerdctl run --name elastic-certs -v /logging/elastic-certs:/app -it -w /app elasticsearch:7.17.3 /bin/sh -c "elasticsearch-certutil ca --out /app/elastic-stack-ca.p12 --pass '' && elasticsearch-certutil cert --name security-master --dns security-master --ca /app/elastic-stack-ca.p12 --pass '' --ca-pass '' --out /app/elastic-certificates.p12"

# 删除容器
nerdctl rm -f elastic-certs
# 将 pcks12（Public Key Cryptography Standards #12）文件中的证书和私钥提取出来，并保存为 PEM 格式的文件
# cd /logging/elastic-certs
# cd elastic-certs && openssl pkcs12 -nodes -passin pass:'' -in elastic-certificates.p12 -out elastic-certificate.pem

# 添加证书
cd /logging/elastic-certs
kubectl create ns logging
kubectl create secret -n logging generic elastic-certs --from-file=elastic-certificates.p12
# 设置集群用户名密码，用户名为 elastic，密码为 pingk123456
# 密码不能为纯数字，否则后面安装 kibana 会报错
kubectl create secret generic elastic-auth -n logging --from-literal=username=elastic --from-literal=password=pingk123456

helm repo add elastic https://helm.elastic.co
helm repo update

 helm pull elastic/elasticsearch --untar --version 7.17.3
 cd elasticsearch

# 创建一个新文件 values-master.yaml，内容如下

## 设置集群名称
clusterName: 'elasticsearch'
## 设置节点名称
nodeGroup: 'master'
## 设置角色
roles:
  master: 'true'
  ingest: 'false'
  data: 'false'

# ============镜像配置============
## 指定镜像与镜像版本
image: 'elasticsearch'  # 此处会去官网下载，对应的访问地址为：docker.io/library/elasticsearch:7.17.3
#image: 'registry.cn-hangzhou.aliyuncs.com/egon-k8s-test/elasticsearch' # 可以用自己的镜像，你的镜像仓库必须是公开的
imageTag: '7.17.3'
imagePullPolicy: 'IfNotPresent'
## 副本数: 
replicas: 3

# ============资源配置============
## JVM 配置参数
esJavaOpts: '-Xmx1g -Xms1g'
## 部署资源配置(生产环境要设置大些)
resources:
  requests:
    cpu: '2000m'
    memory: '2Gi'
  limits:
    cpu: '2000m'
    memory: '2Gi'
## 数据持久卷配置
persistence:
 enabled: true
## 存储数据大小配置
volumeClaimTemplate:
  storageClassName: nfs-client
  accessModes: ['ReadWriteOnce']
  resources:
    requests:
      storage: 5Gi

# ============安全配置============
## 设置协议，可配置为 http、https
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certs
    secretName: elastic-certs
    path: /usr/share/elasticsearch/config/certs
    defaultMode: 0755

## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml、log4j2.properties
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

## 环境变量配置，这里引入上面设置的用户名、密码 secret 文件
extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: password
        
# ============调度配置============
## 设置调度策略
## - hard：只有当有足够的节点时 Pod 才会被调度，并且它们永远不会出现在同一个节点上
## - soft：尽最大努力调度
antiAffinity: 'soft'
# tolerations:
#   - operator: "Exists" ##容忍全部污点

# 创建文件：values-data.yaml

# ============设置集群名称============
## 设置集群名称
clusterName: 'elasticsearch'
## 设置节点名称
nodeGroup: 'data'
## 设置角色
roles:
  master: 'false'
  ingest: 'true'
  data: 'true'
  
# ============镜像配置============
## 指定镜像与镜像版本
image: 'elasticsearch' 
#image: 'registry.cn-hangzhou.aliyuncs.com/egon-k8s-test/elasticsearch' 
imageTag: '7.17.3'
## 副本数(建议设置为3，资源不足可以只设置1个副本)
replicas: 3

# ============资源配置============
## JVM 配置参数
esJavaOpts: '-Xmx1g -Xms1g'
## 部署资源配置(生产环境一定要设置大些)
resources:
  requests:
    cpu: '1000m'
    memory: '2Gi'
  limits:
    cpu: '1000m'
    memory: '2Gi'
## 数据持久卷配置
persistence:
  enabled: true
## 存储数据大小配置
volumeClaimTemplate:
  storageClassName: nfs-client
  accessModes: ['ReadWriteOnce']
  resources:
    requests:
      storage: 10Gi
      
# ============安全配置============
## 设置协议，可配置为 http、https
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certs
    secretName: elastic-certs
    path: /usr/share/elasticsearch/config/certs
## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

# 禁用了 Elasticsearch 从外部下载 GeoIP 数据库的功能（GeoIP 数据库用于将 IP 地址映射到地理位置）
# 这在以下场景中非常有用：
# 1、日志分析：了解用户访问来源的地理位置。
# 2、安全审计：检测异常的地理位置访问。
# 3、内容个性化：根据用户位置提供个性化内容
# 如果你没有需要使用 GeoIP 数据库的特定需求，禁用这个选项是完全可以的，特别是在内网环境中，这样可以避免连接外网的问题
   ingest.geoip.downloader.enabled: 'false'
## 环境变量配置，这里引入上面设置的用户名、密码 secret 文件
extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: password

# ============调度配置============
## 设置调度策略
## - hard：只有当有足够的节点时 Pod 才会被调度，并且它们永远不会出现在同一个节点上
## - soft：尽最大努力调度
antiAffinity: 'soft'
## 容忍配置
# tolerations:
#   - operator: "Exists" ##容忍全部污点

# 创建文件：values-client.yaml

# ============设置集群名称============
## 设置集群名称
clusterName: 'elasticsearch'
## 设置节点名称
nodeGroup: 'client'
## 设置角色
roles:
  master: 'false'
  ingest: 'false'
  data: 'false'
  
# ============镜像配置============
## 指定镜像与镜像版本
image: 'elasticsearch'
# image: 'registry.cn-hangzhou.aliyuncs.com/egon-k8s-test/elasticsearch'
imageTag: '7.17.3'
## 副本数
# 测试环境资源有限，所以设置为1吧
replicas: 2

# ============资源配置============
## JVM 配置参数
esJavaOpts: '-Xmx1g -Xms1g'
## 部署资源配置(生产环境一定要设置大些)
resources:
  requests:
    cpu: '1000m'
    memory: '2Gi'
  limits:
    cpu: '1000m'
    memory: '2Gi'
## 数据持久卷配置
persistence:
  enabled: false
  
# ============安全配置============
## 设置协议，可配置为 http、https
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certs
    secretName: elastic-certs
    path: /usr/share/elasticsearch/config/certs
## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
 
## 环境变量配置，这里引入上面设置的用户名、密码 secret 文件
extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: password
        
# ============Service 配置============
service:
  type: NodePort
  nodePort: '30200'

 # --------------->>>>>>>>>>> 注意install指定的release名字不能重复
# helm install 你起的release名 你的chart包的路径 -f values-master.yaml --namespace logging
# 如果是升级安装则用：helm upgrade --install 你起的release名 你的chart包的路径 -f values-master.yaml --namespace logging

cd elasticsearch/
# 安装 master 节点
helm install es-master ./ -f values-master.yaml --namespace logging
# 安装 data 节点
helm install es-data ./ -f values-data.yaml --namespace logging
# 安装 client 节点
helm install es-client ./ -f values-client.yaml --namespace logging

# 升级操作示例
helm upgrade --install es-master ./ -f values-master.yaml --namespace logging

helm pull elastic/kibana --untar --version 7.17.3
cd kibana

# 创建全新文件：values-prod.yaml

## 指定镜像与镜像版本
image: 'registry.cn-hangzhou.aliyuncs.com/egon-k8s-test/kibana'
#image: 'docker.elastic.co/kibana/kibana'
imageTag: '7.17.3'
imagePullPolicy: "IfNotPresent"

## 配置连接 ElasticSearch 地址，使用的es-client的svc
elasticsearchHosts: 'http://elasticsearch-client:9200'

# ============环境变量配置============
## 环境变量配置，这里引入上面设置的用户名、密码 secret 文件
extraEnvs:
  - name: 'ELASTICSEARCH_USERNAME'
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: username
  - name: 'ELASTICSEARCH_PASSWORD'
    valueFrom:
      secretKeyRef:
        name: elastic-auth
        key: password

# ============资源配置============
resources:
  requests:
    cpu: '500m'
    memory: '1Gi'
  limits:
    cpu: '500m'
  memory: '1Gi'

# ============配置 Kibana 参数============
## kibana 配置中添加语言配置，设置 kibana 为中文
kibanaConfig:
  kibana.yml: |
    i18n.locale: "zh-CN"
    server.publicBaseUrl: "http://192.168.2.201:30601"   #这里地址改为你访问 kibana 的地址，不能以 / 结尾

# ============Service 配置============
service:
  type: NodePort
  nodePort: '30601'

helm install kibana ./ -f values-prod.yaml --namespace logging

<source>
  @id fluentd-containers.log              
  @type tail                     # Fluentd 内置的输入方式，其原理是不停地从源文件中获取最新的日志。
  path /var/log/containers/*.log # 挂载的宿主机容器日志地址
  
  pos_file /var/log/es-containers.log.pos  # 指定一个位置文件（position file）。位置文件是一个记录文件读取位置的文件，用于在文件轮转（log rotation）或重新启动时，帮助应用程序记住上次读取的位置，以便继续从上次位置读取日志文件。
  tag raw.kubernetes.*           # 设置日志标签        
  read_from_head true            # 表示 Fluentd 在第一次读取文件时，从文件头开始读取（而不是只读取新增的部分）。适用于启动时需要读取已有日志的场景。
  <parse>                        # 多行格式化成 JSON     
    @type multi_format           # 使用 multi-format-parser 解析器插件        
    <pattern>
      format json                # JSON 解析器       
      time_key time              # 指定事件时间的时间字段      
      time_format %Y-%m-%dT%H:%M:%S.%NZ  # 时间格式
    </pattern>
    <pattern>
      format /^(?<time>.+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
      time_format %Y-%m-%dT%H:%M:%S.%N%:z
    </pattern>
  </parse>
</source>

<match **>  # <match **> 中 math 后跟着的是一个匹配日志源的正则，此处的两个星号**代表捕获所有的日志并将它们发送给 Elasticsearch。
  @id elasticsearch  # 为这个输出插件配置指定了一个唯一的 ID elasticsearch，便于管理和识别。
  @type elasticsearch  # 使用了 Fluentd 的内置 elasticsearch 插件作为日志输出插件，将日志数据发送到 Elasticsearch。
  @log_level info  # 日志级别配置成i nfo，表示任何该级别及者该级别以上（INFO、WARNING、ERROR）的日志都将被路由到 ES。
  include_tag_key true  # 设置为 true，表示在发送到 Elasticsearch 的日志数据中会包含日志的标签（tag）。这是有用的，可以在 Elasticsearch 中使用标签进行筛选和查询
  type_name fluentd  # 用于指定 Elasticsearch 中索引的类型名称，这会影响数据在 Elasticsearch 中的存储方式。
  
# 定义 Elasticsearch 的地址，也可以配置认证信息，我们的 Elasticsearch 不需要认证，所以这里直接指定 host 和 port 即可。
  host "#{ENV['OUTPUT_HOST']}" 
# 表示环境变量 OUTPUT_HOST 的值会被插入到配置中。该环境变量的值是 Elasticsearch 的主机名或 IP 地址
  port "#{ENV['OUTPUT_PORT']}"
 
# 设置为 true，表示 Fluentd 将日志数据以 Logstash 格式发送到 Elasticsearch。Logstash 格式通常包括时间戳、日志级别、消息内容等，有助于结构化日志的处理。
  logstash_format true
  
# Fluentd 允许在目标（对接的下游服务）不可用时进行缓存，比如，如果网络出现故障或者 ES 不可用的时候。缓冲区配置也有助于降低磁盘的 IO。
  <buffer> 
    @type file # 设置缓存类型为 file，表示 Fluentd 将日志数据缓存在本地文件中。这对于处理大量日志或网络故障时非常有用。
    path /var/log/fluentd-buffers/kubernetes.system.buffer # 缓存文件存储的路径。日志数据会被写入这个路径下的文件中。
    flush_mode interval  # 设置为 interval，表示按照时间间隔进行数据刷新（将数据从缓冲区发送到 Elasticsearch）。
    retry_type exponential_backoff # 设置重试类型为 exponential_backoff，这意味着在网络错误或 Elasticsearch 不可用时，Fluentd 会进行指数退避重试，逐渐增加重试间隔。
    flush_thread_count 2  # 设置用于刷新缓冲区的线程数为 2。提高线程数可以提升数据的处理能力。
    flush_interval 5s # 设置刷新间隔为 5 秒。这意味着每隔 5 秒，Fluentd 将尝试将缓冲区中的数据发送到 Elasticsearch。
    retry_forever # 默认值为 true，表示在 Elasticsearch 不可用时会无限重试，不会放弃。
    retry_max_interval 30 # 设置重试的最大间隔时间为 30 秒。如果 Elasticsearch 长时间不可用，重试间隔会增加，直到达到这个最大值。
    chunk_limit_size "#{ENV['OUTPUT_BUFFER_CHUNK_LIMIT']}" # 设置缓冲区中单个数据块的最大尺寸，通过环境变量 OUTPUT_BUFFER_CHUNK_LIMIT 配置。限制数据块的大小有助于管理缓冲区内存使用。
    queue_limit_length "#{ENV['OUTPUT_BUFFER_QUEUE_LIMIT']}" # 设置缓冲区队列的最大长度，通过环境变量 OUTPUT_BUFFER_QUEUE_LIMIT 配置。超过这个长度的日志将会被阻塞或丢弃。
    overflow_action block # 设置溢出行为为 block，这意味着如果缓冲区队列长度超过 queue_limit_length，新的日志写入将被阻塞，直到队列长度减少到可接受的范围内。
  </buffer>
</match>

# 删除无用的日志字段/属性,以简化日志数据并减小数据存储的负担。
<filter kubernetes.**> # 这个过滤器应用于所有日志标签以 kubernetes. 开头的日志
  @type record_transformer # 使用 record_transformer 插件，它允许对日志记录进行转换，如添加、修改或删除字段
  remove_keys $.docker.container_id,$.kubernetes.container_image_id,$.kubernetes.pod_id,$.kubernetes.namespace_id,$.kubernetes.master_url,$.kubernetes.labels.pod-template-hash
# remove_keys 指定了要从日志记录中删除的字段。这里列出的字段包括：
 # $.docker.container_id: Docker 容器 ID
 # $.kubernetes.container_image_id: Kubernetes 容器镜像 ID
 # $.kubernetes.pod_id: Kubernetes Pod ID
 # $.kubernetes.namespace_id: Kubernetes 命名空间 ID
 # $.kubernetes.master_url: Kubernetes Master URL
 # $.kubernetes.labels.pod-template-hash: Kubernetes Pod 模板哈希标签
</filter>


# 只保留具有 logging=true 标签的 Pod 日志
<filter kubernetes.**> # # 这个过滤器同样应用于所有标签以 kubernetes. 开头的日志。
  @id filter_log # 为这个过滤器配置一个唯一的 ID filter_log，便于                管理和调试。
  @type grep     # 使用 grep 插件，它用于按指定的模式过滤日志记录。             只有匹配模式的日志才会被保留下来。
  <regexp>
    key $.kubernetes.labels.logging  # 这是要检查的字段，表示 Kubernetes Pod 的标签 logging。
    pattern ^true$  # 这是正则表达式模式，用于匹配字段值。如果 $.kubernetes.labels.logging 字段的值是 true，则日志记录会被保留。否则，日志记录会被丢弃。 
  </regexp>
</filter>

# fluentd-configmap.yaml
 
apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-conf
  namespace: logging
data:
  # 配置采集与处理容器日志
  containers.input.conf: |-
    <source>
      @id fluentd-containers.log
      @type tail        
      path /var/log/containers/*.log
      pos_file /var/log/es-containers.log.pos
      tag raw.kubernetes.*
      read_from_head true
      <parse>   
        @type multi_format
        <pattern>
          format json
          time_key time
          time_format %Y-%m-%dT%H:%M:%S.%NZ
        </pattern>
        <pattern>
          format /^(?<time>.+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
          time_format %Y-%m-%dT%H:%M:%S.%N%:z
        </pattern>
      </parse>
    </source>
    
    <match raw.kubernetes.**>
      @id raw.kubernetes
      @type detect_exceptions
      
      remove_tag_prefix raw
      message log
      multiline_flush_interval 5
    </match>
    
    <filter **>
      @id filter_concat
      @type concat
      key message
      multiline_end_regexp /\n$/  
      separator "" 
    </filter>

    <filter kubernetes.**>
      @id filter_kubernetes_metadata
      @type kubernetes_metadata 
    </filter>

    <filter kubernetes.**> 
      @id filter_parser
      @type parser
      key_name log
      reserve_data true           # 设置为 true，表示在解析过程中保留原始数据。这有助于保留日志数据的原始形式，便于调试和进一步分析。
      remove_key_name_field true  # 设置为 true，表示在成功解析日志后，移除 key_name 字段。这样可以在解析后去掉指定的日志字段名称。
      
      <parse>    # 依次运行多个解析pattern，运行不成功才会进行下一个
        @type multi_format
        <pattern>
          format json
        </pattern>
        <pattern>
          format none  # 对于无法解析为 JSON 的数据，none 表示不进行任何处理。可以用于处理非 JSON 格式的日志数据。
        </pattern>
      </parse>
    </filter>

    <filter kubernetes.**>
      @type record_transformer
      remove_keys $.docker.container_id,$.kubernetes.container_image_id,$.kubernetes.pod_id,$.kubernetes.namespace_id,$.kubernetes.master_url,$.kubernetes.labels.pod-template-hash
    </filter>
    
    <filter kubernetes.**>
      @id filter_log
      @type grep
      <regexp>
        key $.kubernetes.labels.logging
        pattern ^true$
      </regexp>
    </filter>
    

  # 监听配置，一般用于日志聚合用
  forward.input.conf: |-
    # 监听通过 TCP 发送的消息
    <source>
      @id forward
      @type forward  # forward 插件会监听通过 TCP 协议发送到 Fluentd 的日志消息。其他 Fluentd 实例或应用程序可以将日志数据发送到这个 Fluentd 实例，该实例会接收并处理这些日志消息
      
      # 默认情况下，forward 插件会监听 TCP 端口 24224。您可以根据需要修改端口号和其他设置。要进行自定义配置，如设置端口号、绑定地址等，可以添加相应的配置参数。例如
      # port 24224  # 设置监听的端口号
      # bind 0.0.0.0  # 绑定所有网络接口
      
      # 这个配置通常用于构建多实例 Fluentd 部署，其中一个实例作为集中式日志接收器，接收来自不同实例或服务的日志数据。这种设置有助于集中管理和处理日志数据，并将日志数据进一步转发到其他系统（如 Elasticsearch、Kafka、文件等）。
    </source>
    
    
  # 配置将日志数据发送到 Elasticsearch
  output.conf: |-
    <match **>
      @id elasticsearch
      @type elasticsearch
      @log_level info
      include_tag_key true
      
      # 配置访问ES的svc与端口，账号密码
      host elasticsearch-client # 指定ES的client的svc名
      port 9200                 
      user elastic # FLUENT_ELASTICSEARCH_USER | FLUENT_ELASTICSEARCH_PASSWORD
      password pingk123456
      
      # 配置采集的日志使用 logstash 格式，并且配置日志前缀为 k8s，后续在es中索引查询要用到该前缀。
      logstash_format true
      logstash_prefix k8s
    
      request_timeout 30s
      <buffer>
        @type file
        path /var/log/fluentd-buffers/kubernetes.system.buffer
        flush_mode interval
        retry_type exponential_backoff
        flush_thread_count 2
        flush_interval 5s
        retry_forever
        retry_max_interval 30
        chunk_limit_size 2M
        queue_limit_length 8
        overflow_action block
      </buffer>
    </match>

apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd-es
  namespace: logging
  labels:
    k8s-app: fluentd-es
    kubernetes.io/cluster-service: 'true'
    addonmanager.kubernetes.io/mode: Reconcile

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd-es
  labels:
    k8s-app: fluentd-es
    kubernetes.io/cluster-service: 'true'
    addonmanager.kubernetes.io/mode: Reconcile
rules:
  - apiGroups:
      - ''
    resources:
      - 'namespaces'
      - 'pods'
    verbs:
      - 'get'
      - 'watch'
      - 'list'
   
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd-es
  labels:
    k8s-app: fluentd-es
    kubernetes.io/cluster-service: 'true'
    addonmanager.kubernetes.io/mode: Reconcile
subjects:
  - kind: ServiceAccount
    name: fluentd-es
    namespace: logging
    apiGroup: ''
roleRef:
  kind: ClusterRole
  name: fluentd-es
  apiGroup: ''
  
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: logging
  labels:
    app: fluentd
    kubernetes.io/cluster-service: 'true'
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
        kubernetes.io/cluster-service: 'true'
    spec:
      # 1、控制只调度到带有下述标签的节点上，即只采集固定的节点
      # nodeSelector:
      # beta.kubernetes.io/fluentd-ds-ready: 'true'
      # 2、我们是kubeadm部署的k8s，默认情况下master节点有污点，如果想采集master，则需要加上容忍
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
      serviceAccountName: fluentd-es
      containers:
        - name: fluentd
          image: registry.cn-hangzhou.aliyuncs.com/egon-k8s-test/fluentd:v3.4.0
          # image: quay.io/fluentd_elasticsearch/fluentd:v3.4.0
          volumeMounts:
            - name: fluentconfig
              mountPath: /etc/fluent/config.d
            - name: varlog
              mountPath: /var/log
      volumes:
        - name: fluentconfig
          configMap:
            name: fluentd-conf
        - name: varlog
          hostPath:
            path: /var/log

nodeSelector:
  beta.kubernetes.io/fluentd-ds-ready: 'true'

kubectl label nodes [node名字] beta.kubernetes.io/fiuentd-ds-ready=true

kubectl apply -f fluentd-configmap.yaml
kubectl apply -f fluentd-daemonset.yaml

# 查看部署结果
kubectl  -n  logging get pods  -o wide

# counter.yaml
apiVersion: v1
kind: Pod
metadata:
  name: counter
  labels:
    logging: 'true' # 一定要具有该标签才会被采集
spec:
  containers:
    - name: count
      image: centos
      args:
        [
          /bin/sh,
          -c,
          'i=0; while true; do echo "$i: $(date)"; i=$((i+1)); sleep 1; done',
        ]