跳转至

GitOps Secret 加密

在 GitOps 运维模式中，待部署资源都是以 yaml 的形式存放在 Git 仓库中，而这些文件中可能包含敏感信息， 例如数据库密码、API 密钥等，它们不应该以明文的形式存储， 同时，当这些资源被部署在 kubernetes 集群中时，即使是以 secret 的方式，依旧可以通过 base64 很轻易的查看，这会造成很多安全问题。

为了解决这些问题，本文将介绍以下几种方案来实现 GitOps 中 manifest 文件的加密功能。 实现方案主要分为两类：

  1. 基于 argocd 的 plugin 机制，在渲染 manifest 文件时进行解密并替换敏感信息

    这种方式的优点是：

    • 与 argocd 结合紧密，不需要安装额外的组件
    • 可以方便的与现有的凭证管理系统集成
    • 支持很多的凭证存储后端，如 vault、k8s secret、aws secret 等
    • 可以支持任意 kubernetes 资源的加密，如 secret、configmap、deployment 的环境变量等

    缺点：敏感信息变更后需要 手动同步

  2. 不依赖于 argocd，依赖于项目或工具本身的加解密能力对敏感信息进行加解密

    这种方式的优点是：

    • 不依赖与具体的 GitOps 实现
    • 安全性更强（如无法轻易解密，或无法通过 kubectl describe 等方式查看）
    • 配置简单
    • 完全的 GitOps 体验，不需要手动同步

    缺点：需要单独安装工具，需要手动配置

请根据实际的使用情况选择合适的方案。

基于 argocd 的 plugin 机制

此方案中使用到的是argocd-vault-plugin插件， 它将会从指定的后端存储中获取敏感信息，可以与 argocd 较好的结合。

它支持的后端储存很多，本文以 HashiCorp Vault 和 kubernetes secret 为例。

如何使用 vault 不是本文的重点，这里只介绍如何配置此插件使用 vault 作为后端敏感信息的存储。

在使用之前需要在安装 argocd 时进行一些配置，具体步骤如下：

安装配置

管理员设置后端存储访问密钥

安装 argocd 之前，需要管理员先创建一下 secret，用于此插件访问后端存储

  1. 后端存储为 HashiCorp Vault

    apiVersion: v1
kind: Secret
metadata:
  name: argocd-vault-plugin-credentials
  namespace: argo-cd # (1)!
data:
  AVP_TYPE: vault # (2)!
  AVP_AUTH_TYPE: token # (3)!
  VAULT_ADDR: 10.6.10.11 # (4)!
  VAULT_TOKEN: cm9vdA==  # (5)!
type: Opaque
    1. argocd 部署的命名空间
    2. 指定后端存储的类型 vault
    3. 指定后端存储的 auth 类型
    4. valut 的地址
    5. 通过 vault 的 pod 日志获取到的初始化 token（在实际使用时，需要设置为具体的权限和访问策略获取到的 token）

    通过配置上述 secret，在 argocd 运行期间，会将 data 中的配置项以环境变量的形势传递给 argocd-vault-plugin，用于此插件访问具体的 vault 来获取敏感数据。

  2. 后端存储为 Kubernetes Secret

    apiVersion: v1
kind: Secret
metadata:
  name: argocd-vault-plugin-credentials
  namespace: argo-cd
data:
  AVP_TYPE: kubernetessecret # (1)!
type: Opaque
    1. 设置后端存储类型为 kubernetessecret

上面为最基础的配置，如果后端存储为其他类型， 或者需要有其他的配置项请查看后端存储配置。

安装 argocd

应用工作台中默认安装了 argoCD，也可以单独安装，具体的安装步骤请看安装 argocd， 下面根据两种情况进行配置。

修改工作台默认安装的 argoCD

  1. 添加一个 ConfigMap，用于配置插件

    前往 容器管理 -> 集群列表选择 kpanda-global-cluster -> 配置与密钥 -> 通过 yaml 新建， 内容如下:

    apiVersion: v1
kind: ConfigMap
metadata:
  name: cmp-plugin
  namespace: argo-cd
data:
  avp.yaml: |
    apiVersion: argoproj.io/v1alpha1
    kind: ConfigManagementPlugin
    metadata:
      name: argocd-vault-plugin
    spec:
      allowConcurrency: true
      discover:
        find:
          command:
            - sh
            - "-c"
            - "find . -name '*.yaml' | xargs -I {} grep \"<path\\|avp\\.kubernetes\\.io\" {} | grep ."
      generate:
        command:
          - argocd-vault-plugin 
          - generate 
          - --verbose-sensitive-output=true 
          - ./
      lockRepo: false
  avp-helm.yaml:
    apiVersion: argoproj.io/v1alpha1
    kind: ConfigManagementPlugin
    metadata:
      name: argocd-vault-plugin-helm
    spec:
      allowConcurrency: true
      discover:
        find:
          command:
            - sh
            - "-c"
            - "find . -name 'Chart.yaml' && find . -name 'values.yaml'"
      generate:
        command:
          - sh
          - "-c"
          - |
            helm template $argocd_APP_NAME -n $ARGOCD_APP_NAMESPACE ${argocd_ENV_HELM_ARGS} . |
            argocd-vault-plugin generate -
      lockRepo: false

  2. 修改 argocd-repo-server 的 Deployment

    前往 容器管理 -> 集群列表选择 kpanda-global-cluster -> 工作负载 -> 无状态负载 -> 选择命名空间 argocd -> 编辑 argocd-repo-server 的 yaml，进行如下修改：

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: argocd-repo-server
  namespace: argo-cd
spec:
  template:
    spec:
      volumes: # (1)!
        - name: cmp-plugin
          configMap:
            name: cmp-plugin
            defaultMode: 420
        - name: custom-tools
          emptyDir: {}
      initContainers:
        - name: init-vault-plugin # (2)!
          image: release.daocloud.io/amamba/argocd-vault-plugin:v1.17.0 # (3)!
          command:
            - sh
            - "-c"
          args:
            - cp /usr/local/bin/argocd-vault-plugin /custom-tools
          volumeMounts:
            - name: custom-tools
              mountPath: /custom-tools
      containers:
        - name: avp # (4)!
          image: quay.io/argoproj/argocd:v2.10.4 # (5)!
          command:
            - /var/run/argocd/argocd-cmp-server
          envFrom:
            - secretRef:
              name: argocd-vault-plugin-credentials
          volumeMounts:
            - name: var-files
              mountPath: /var/run/argocd
            - name: plugins
              mountPath: /home/argocd/cmp-server/plugins
            - name: tmp
              mountPath: /tmp
            - name: cmp-plugin
              mountPath: /home/argocd/cmp-server/config/plugin.yaml
              subPath: avp.yaml
            - name: custom-tools
              mountPath: /usr/local/bin/argocd-vault-plugin
              subPath: argocd-vault-plugin
        - name: repo-server # (6)!
          envFrom:
            - secretRef:
                name: argocd-vault-plugin-credentials
          volumeMounts:
            - name: cmp-plugin
              mountPath: /home/argocd/cmp-server/config/plugin.yaml
              subPath: avp.yaml
            - name: custom-tools
              mountPath: /usr/local/bin/argocd-vault-plugin
              subPath: argocd-vault-plugin
    1. 添加 volumes
    2. 添加一个新的 initContainer
    3. 如果是离线环境需要替换地址
    4. 添加一个 sidecar 容器
    5. 镜像地址需要与 repo-server 的相同
    6. 修改原有的 repo-server container，添加 envFrom 和 volumeMounts
单独安装 argoCD

在安装时需要修改如下 helm values:

reposerver: # (1)!
  volumes: # (2)!
    - name: cmp-plugin
      configMap:
        name: cmp-plugin
    - name: custom-tools
      emptyDir: {}

  initContainers:
    - name: init-vault-plugin # (3)!
      image: release.daocloud.io/amamba/argocd-vault-plugin:v1.17.0 # (4)!
      command:
        - sh
        - "-c"
      args:
        - cp /usr/local/bin/argocd-vault-plugin /custom-tools
      volumeMounts:
        - name: custom-tools
          mountPath: /custom-tools

  envFrom: # (5)!
    - secretRef:
      name: argocd-vault-plugin-credentials

  volumeMounts: # (6)!
    - name: plugins
      mountPath: /home/argocd/cmp-server/plugins
    - name: tmp
      mountPath: /tmp
    - name: cmp-plugin
      mountPath: /home/argocd/cmp-server/config/plugin.yaml
      subPath: avp.yaml
    - name: custom-tools
      mountPath: /usr/local/bin/argocd-vault-plugin
      subPath: argocd-vault-plugin

  extraContainers: # (7)!
    - name: avp
      image: quay.io/argoproj/argocd:v2.10.4 # (8)!
      command:
        - /var/run/argocd/argocd-cmp-server
      envFrom:
        - secretRef:
            name: argocd-vault-plugin-credentials
      volumeMounts:
        - name: var-files
          mountPath: /var/run/argocd
        - name: plugins
          mountPath: /home/argocd/cmp-server/plugins
        - name: tmp
          mountPath: /tmp
        - name: cmp-plugin
          mountPath: /home/argocd/cmp-server/config/plugin.yaml
          subPath: avp.yaml
        - name: custom-tools
          mountPath: /usr/local/bin/argocd-vault-plugin
          subPath: argocd-vault-plugin

configs: # (9)!
  cmp:
    plugins:
      argocd-vault-plugin:
        allowConcurrency: true
        discover:
          find:
            command:
              - sh
              - "-c"
              - "find . -name '*.yaml' | xargs -I {} grep \"<path\\|avp\\.kubernetes\\.io\" {} | grep ."
        generate:
          command:
            - argocd-vault-plugin
            - generate
            - ./
        lockRepo: false
      argocd-vault-plugin-helm:
        allowConcurrency: true
        discover:
          find:
            command:
              - sh
              - "-c"
              - "find . -name 'Chart.yaml' && find . -name 'values.yaml'"
        generate:
          command:
            - sh
            - "-c"
            - |
              helm template $argocd_APP_NAME -n $ARGOCD_APP_NAMESPACE ${argocd_ENV_HELM_ARGS} . |
              argocd-vault-plugin generate -
        lockRepo: false
  1. 需要修改 repo-server 的配置
  2. 添加 volumes
  3. 新增一个 initContainer 插件二进制文件的拷贝
  4. 如果是离线环境，还需要添加离线环境的前缀地址
  5. 将 argocd-vault-plugin 需要使用的配置以环境变量的形式进行挂载
  6. 将相关 plugin 的目录和配置进行挂载
  7. 添加一个新的 container
  8. 此处的镜像需要与 repo-server 的镜像保持一致
  9. 除此之外，还需要修改 configmap 添加插件配置

管理员配置敏感信息

在创建 GitOps 应用之前，需要管理员提前设置好敏感数据。

例如使用 vault：

vault kv put secret/test-secret username="xxxx" password="xxxx"

使用 Secret：

apiVersion: v1
kind: Secret
metadata:
  name: test-secret
  namespace: default
data:
  password: dGVzdC1wYXNz
  username: dGVzdC1wd2Q=
type: Opaque

修改 Git 仓库中的 manifest 文件

修改 Git 仓库中的 manifest 文件，将敏感信息替换为占位符的形式，如果后端存储采用的是 vault，示例：

apiVersion: v1
kind: Secret
metadata:
  name: test-secret-vault
  annotations:
    avp.kubernetes.io/path: "secret/data/test-secret"
    avp.kubernetes.io/secret-version: "2"
stringData:
  password: <password>
  username: <username>

说明：

  • 需要添加对应的 annotations，用于插件识别，annotation 说明：
    • avp.kubernetes.io/path：指定敏感信息的路径，如后端存储使用 vault， 此路径为 vault 中的路径. 值可以通过 vault kv get secret/test-secret 得到。通过需要在 secret 后面加上 /data.
    • avp.kubernetes.io/secret-version：指定敏感信息的版本，如果后端存储支持版本管理，可以指定版本号
  • stringData 中的 password 和 username 为敏感信息的 key，<password> 和 <username> 为占位符，<password> 中的 password 为指定 vault 中的 key

如果后端存储使用的是 kubernetes secret，示例：

apiVersion: v1
kind: Secret
metadata:
  name: test-secret-k8s
  annotations:
    avp.kubernetes.io/path: "default/test-secret"
stringData:
  password: <password>
  username: <username>

说明：

  • kubernetes secret 不支持版本管理，因此 avp.kubernetes.io/secret-version 是无效的
  • avp.kubernetes.io/path 中的值为 secret 的命名空间和名称，如 default/test-secret 表示在 default 命名空间下的 test-secret secret。 这个 secret 通常由管理员创建，并且部署在指定权限的 namespace 中，不会保存在 Git 仓库中。
  • stringData 中的占位符与 vault 的占位符一致

支持的 annotations 如下：

Annotation 描述
avp.kubernetes.io/path vault 的 path 路径
avp.kubernetes.io/ignore 为 true 则忽略渲染
avp.kubernetes.io/kv-version KV 存储引擎的版本
avp.kubernetes.io/secret-version 指定 value 的版本
avp.kubernetes.io/remove-missing 对于 secret 和 configmap 而言，忽略 key 未在 vault 中的报错

同时在 <placeholder> 中还支持使用函数，如 <password | base64> 表示将 password 的值进行 base64 编码。

查看部署结果

$ > kubectl get secret test-secret-k8s -o yaml | yq eval ".data" -
> password: dGVzdC1wYXNz
  username: dGVzdC1wd2Q=

可以看到 secret 中的敏感信息已经被替换为实际的值。

敏感信息更新

Note

如果敏感信息发生变更，argocd是 无法感知 到的（即使创建的 Application 选择自动同步）， 需要进入 argocd 的后台页面，点击 hard-refresh **按钮，再点击 **sync 按钮才能进行同步。

依赖于项目或工具本身的加解密能力

这种方式实现的有很多，最大的优点就是他们不与 argocd 绑定，但是仍然可以采用 GitOps 的方式进行部署。 本文中采用 sealed-secrets来实现。

sealed-secrets 包含两个工具：

  • 一个 controller，用户加解密和创建 secret
  • 一个客户端工具 kubeseal

安装

  1. 安装 Controller

    helm repo add sealed-secrets https://bitnami-labs.github.io/sealed-secrets
helm install sealed-secrets -n kube-system --set-string fullnameOverride=sealed-secrets-controller sealed-secrets/sealed-secrets

  2. 安装客户端工具

    KUBESEAL_VERSION='0.26.1'
wget "https://github.com/bitnami-labs/sealed-secrets/releases/download/v${KUBESEAL_VERSION:?}/kubeseal-${KUBESEAL_VERSION:?}-linux-amd64.tar.gz" \
tar -xvzf kubeseal-${KUBESEAL_VERSION:?}-linux-amd64.tar.gz kubeseal \
sudo install -m 755 kubeseal /usr/local/bin/kubeseal

使用

管理员生成加密的 CR 文件：

# 使用命令行工具将 secret 加密
kubectl create secret generic mysecret -n argo-cd --dry-run=client --from-literal=username=xxxx -o yaml | \
    kubeseal \
      --controller-name=sealed-secrets-controller \  # 注意名称和命名空间
      --controller-namespace=kube-system \
      --format yaml > mysealedsecret.yaml

生成的文件如下：

apiVersion: bitnami.com/v1alpha1
kind: SealedSecret
metadata:
  name: mysecret
  namespace: argo-cd
spec:
  encryptedData:
    username: AgBy3i4OJSWK+PiTySYZZA9rO43cGDEq.....  # (1)!
  template:                                          # (2)!
    type: kubernetes.io/dockerconfigjson
    immutable: true
    metadata:
      labels:
        "xxxx":"xxxx"
      annotations:
        "xxxx":"xxxx"
  1. 通过 kubeseal 生成的密文
  2. 除此以外，还可以指定生成 secret 的模板，类似于 pod template

加密的数据采用的是 非对称加密 的方式，只有 controller 才能解密，因此可以放心的将加密后的数据存放在 Git 仓库中。

当 argocd 同步时，sealed controller 会根据 SealedSecret 去生成 secret。 最终生成的 secret 中的数据会被解密，因此当敏感信息发生变更后，仅需要更新 Git 仓库中的 SealedSecret 即可实现自动同步。

评论