CNCF

Etcd

etcd 概述

etcd 是 CoreOS 公司开发目前是 Kubernetes 默认使用的 key-value 数据存储系统，用于保存所有集群数据，支持分布式集群功能，生产环境中要为 etcd 定期备份
etcd 是兼顾一致性与高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。
假设有 3 台 etcd 组成了集群，那么只要宕掉一台则其它的两台都将无法使用
Etcd在k8s中主要存放的node节点和Pod等组件的数据
etcd 是 CoreOS 团队发起的开源项目，它是基于 Go 语言实现一个键值（key-value）数据库，支持高可用集群，主要功能是管理配置信息和服务发现。
注意：etcd 数据一旦丢失那么整个集群将不可用
参考文档：
- https://github.com/etcd-io/etcd
https://etcd.io/
- https://etcd.io/docs/
特点：
- 简单：支持 REST 风格的 HTTP+JSON API
- 安全：支持 HTTPS 方式的访问
- 快速：支持并发 1k/s 的写操作
- 可靠：支持分布式结构，基于 Raft 的一致性算法，Raft 是一套通过选举主节点来实现分布式系统一致性的算法。

etcd 适用场景

服务发现 Service Discovery：

服务发现主要解决在同一个分布式集群中的进程或服务，要如何才能找到对方并建立连接。本质上来说，服务发现就是想要了解集群中是否有进程在监听udp或tcp端口，并且通过名字就可以查找和连接。

消息发布与订阅：

在分布式系统中，最适用的一种组件间通信方式就是消息发布与订阅。即构建一个配置共享中心，数据提供者在这个配置中心发布消息，而消息使用者则订阅他们关心的主题，一旦主题有消息发布，就会实时通知订阅者。通过这种方式可以做到分布式系统配置的集中式管理与动态更新。应用中用到的一些配置信息放到etcd上进行集中管理。

负载均衡：

在分布式系统中，为了保证服务的高可用以及数据的一致性，通常都会把数据和服务部署多份，以此达到对等服务，即使其中的某一个服务失效了，也不影响使用。etcd本身分布式架构存储的信息访问支持负载均衡。etcd集群化以后，每个etcd的核心节点都可以处理用户的请求。所以，把数据量小但是访问频繁的消息数据直接存储到etcd中也可以实现负载均衡的效果。

分布式通知与协调：

Harbor

Docker 仓库前言

Docker 仓库大体分为两种，一种是公有仓库，一种是私有仓库
harbor属于私有分布式仓库，也是目前企业中最常用的docker镜像管理仓库应用
harbor官网：https://goharbor.io/

harbor 安装

先决条件

必须安装docker 和 docker compose

下载harbor安装包并解压缩

下载地址：https://github.com/goharbor/harbor/releases

mkdir -p /apps

tar xf harbor-offline-installer-*.tgz -C /apps/

创建日志目录

mkdir /var/log/harbor/

新版本会自动创建

# harbor2.3.5
root@harbor:~# ll /var/log/harbor/
total 60
drwxr-xr-x  2 10000  10000  4096 Mar 24 19:16 ./
drwxrwxr-x 10 root  syslog  4096 Mar 24 19:15 ../
-rw-r--r--  1 10000  10000 10336 Mar 24 19:15 core.log
-rw-r--r--  1 10000  10000  9936 Mar 24 19:15 jobservice.log
-rw-r--r--  1 10000  10000  2922 Mar 24 19:17 portal.log
-rw-r--r--  1 10000  10000  5919 Mar 24 19:15 postgresql.log
-rw-r--r--  1 10000  10000   440 Mar 24 19:17 proxy.log
-rw-r--r--  1 10000  10000  2701 Mar 24 19:15 redis.log
-rw-r--r--  1 10000  10000  2489 Mar 24 19:17 registryctl.log
-rw-r--r--  1 10000  10000  3240 Mar 24 19:17 registry.log

修改配置文件 harbor.cfg

# /apps/harbor/harbor.yml.tmpl
#只需修改下面两行
hostname: 10.0.0.102 # 生产中可以考虑改为域名，如：harbor.xiangzheng.vip
...
harbor_admin_password: 12345 # 修改密码，生产中要设置复杂些
# 将https相关配置注释（如果不需要）
# https related config
##https:
  # https port for harbor, default is 443
  ##port: 443
  # The path of cert and key files for nginx
  ##certificate: /your/certificate/path
  ##private_key: /your/private/key/path
...

# 修改配置文件名称
cp /apps/harbor/harbor.yml.tmpl /apps/harbor/harbor.yml

运行 harbor 安装脚本

# 先安装python
apt -y install python3

#执行 harbor 安装脚本
/apps/harbor/install.sh

#安装成功后可以看到有许多容器
docker ps -a

实现开机自启动harbor

# vim /lib/systemd/system/harbor.service
[Unit]
Description=Harbor
Requires=docker.service
After=docker.service systemd-networkd.service systemd-resolved.service
Documentation=http://github.com/vmware/harbor

[Service]
Type=simple
Restart=on-failure
RestartSec=5
ExecStart=/usr/bin/docker-compose -f /apps/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker-compose -f /apps/harbor/docker-compose.yml down
ExecReload=/bin/kill -s HUP $MAINPID

[Install]
WantedBy=multi-user.target


# systemctl daemon-reload

浏览器访问测试

用户名admin，密码就是配置文件定义的密码12345

harbor 一键安装脚本

#!/bin/bash
#
#********************************************************************
#Author:	     	xiangzheng
#QQ: 			    767483070
#Date: 		     	2022-03-24
#FileName：		    install_harbor.sh
#URL: 		    	https://www.xiangzheng.vip
#Email: 		    rootroot25@163.com
#Description：		The test script
#Copyright (C): 	2022 All rights reserved
#********************************************************************

#需将 docker-compose 和 harbor 文件放到和此脚本同级的目录下

DOCKER_COMPOSE_VERSION="2.3.3"
HARBOR_HOSTNAME="harbor.xiangzheng.vip"
HARBOR_ADMIN_PASSWORD="666666"
HARBOR_VERSION="2.3.5"

docker --version &> /dev/null || { echo "docker未安装 退出" ; exit; }

apt -y install python3
#dnf -y install python3


install_docker-compose(){
    chmod +x docker-compose-linux-x86_64 
    mv docker-compose-linux-x86_64 /usr/bin/docker-compose
    docker-compose --version &> /dev/null
        if [ $? -eq 0 ];then
            echo "docker-compose 安装完成" ; sleep 3
        else
            echo "docker-compose 安装失败 退出" ; exit 3
        fi
}

install_harbor(){
    mkdir -p /apps && tar xf harbor-offline-installer-v${HARBOR_VERSION}.tgz -C /apps/
    mv /apps/harbor/harbor.yml.tmpl /apps/harbor/harbor.yml
    sed -ri.bak "s|(hostname: )(.*)|\1${HARBOR_HOSTNAME}|" /apps/harbor/harbor.yml
    sed -ri "s|(harbor_admin_password: )(.*)|\1${HARBOR_ADMIN_PASSWORD}|" /apps/harbor/harbor.yml
    sed -ri 's|^(https:)|#\1|' /apps/harbor/harbor.yml
    sed -ri 's|(.*)(port: 443)|#\1\2|' /apps/harbor/harbor.yml
    sed -ri 's|(.*)(certificate: .*)|#\1\2|' /apps/harbor/harbor.yml
    sed -ri 's|(.*)(private_key: .*)|#\1\2|' /apps/harbor/harbor.yml
    /apps/harbor/install.sh
cat > /lib/systemd/system/harbor.service <<EOF
[Unit]
Description=Harbor
Requires=docker.service
After=docker.service systemd-networkd.service systemd-resolved.service
Documentation=http://github.com/vmware/harbor

[Service]
Type=simple
Restart=on-failure
RestartSec=5
ExecStart=/usr/bin/docker-compose -f /apps/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker-compose -f /apps/harbor/docker-compose.yml down
ExecReload=/bin/kill -s HUP \$MAINPID

[Install]
WantedBy=multi-user.target
EOF

    systemctl daemon-reload
    systemctl enable --now harbor.service
    systemctl is-active harbor.service &> /dev/null && echo "harbor 安装成功" || echo "harbor 安装失败"
}

install_docker-compose

install_harbor

基于 helm 部署 Harbor

https://artifacthub.io/packages/helm/harbor/harbor/1.9.3

kubesphere

kubesphere 迁移存储类

kubesphere-monitoring-system

kubectl get pvc -n kubesphere-monitoring-system prometheus-k8s-db-prometheus-k8s-0 -o yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: openebs.io/local
    volume.kubernetes.io/selected-node: k8s-worker1
  creationTimestamp: "2023-03-21T06:22:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  labels:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/managed-by: prometheus-operator
    app.kubernetes.io/name: prometheus
    operator.prometheus.io/name: k8s
    operator.prometheus.io/shard: "0"
    prometheus: k8s
  name: prometheus-k8s-db-prometheus-k8s-0
  namespace: kubesphere-monitoring-system
  resourceVersion: "4176"
  uid: cc90f698-c295-42a5-853e-d3a748620707
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local
  volumeMode: Filesystem
  volumeName: pvc-cc90f698-c295-42a5-853e-d3a748620707
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 20Gi
  phase: Bound

kubectl get pvc -n kubesphere-monitoring-system prometheus-k8s-db-prometheus-k8s-1 -o yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: openebs.io/local
    volume.kubernetes.io/selected-node: k8s-worker2
  creationTimestamp: "2023-03-21T06:22:58Z"
  finalizers:
  - kubernetes.io/pvc-protection
  labels:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/managed-by: prometheus-operator
    app.kubernetes.io/name: prometheus
    operator.prometheus.io/name: k8s
    operator.prometheus.io/shard: "0"
    prometheus: k8s
  name: prometheus-k8s-db-prometheus-k8s-1
  namespace: kubesphere-monitoring-system
  resourceVersion: "4756"
  uid: ffa760c4-3213-49ce-bdb5-4871f8b0147a
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local
  volumeMode: Filesystem
  volumeName: pvc-ffa760c4-3213-49ce-bdb5-4871f8b0147a
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 20Gi
  phase: Bound

删除 pvc

kubectl delete pvc -n kubesphere-monitoring-system prometheus-k8s-db-prometheus-k8s-0


kubectl delete pvc -n kubesphere-monitoring-system prometheus-k8s-db-prometheus-k8s-1

重建 pvc

vim pvc-prometheus-k8s-db-prometheus-k8s-0.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/managed-by: prometheus-operator
    app.kubernetes.io/name: prometheus
    operator.prometheus.io/name: k8s
    operator.prometheus.io/shard: "0"
    prometheus: k8s
  name: prometheus-k8s-db-prometheus-k8s-0
  namespace: kubesphere-monitoring-system
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi

vim pvc-prometheus-k8s-db-prometheus-k8s-1.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/managed-by: prometheus-operator
    app.kubernetes.io/name: prometheus
    operator.prometheus.io/name: k8s
    operator.prometheus.io/shard: "0"
    prometheus: k8s
  name: prometheus-k8s-db-prometheus-k8s-1
  namespace: kubesphere-monitoring-system
spec:
  storageClassName: nfs-client
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi

kubesphere-system

redis

kubectl get pvc -n kubesphere-system redis-pvc -o yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"redis-pvc","namespace":"kubesphere-system"},"spec":{"accessModes":["ReadWriteOnce"],"resources":{"requests":{"storage":"2Gi"}}}}
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: openebs.io/local
    volume.kubernetes.io/selected-node: k8s-master1
  creationTimestamp: "2023-03-21T06:19:46Z"
  finalizers:
  - kubernetes.io/pvc-protection
  name: redis-pvc
  namespace: kubesphere-system
  resourceVersion: "2002"
  uid: 0f6a2dab-51bf-44b9-ab3e-3b0d60a22b62
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi
  storageClassName: local
  volumeMode: Filesystem
  volumeName: pvc-0f6a2dab-51bf-44b9-ab3e-3b0d60a22b62
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 2Gi
  phase: Bound

删除 pvc

kubectl delete pvc -n kubesphere-system redis-pvc

重建 pvc

vim redis-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: redis-pvc
  namespace: kubesphere-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi
  storageClassName: nfs-client

minio

kubectl get pvc -n kubesphere-system minio -o yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    meta.helm.sh/release-name: ks-minio
    meta.helm.sh/release-namespace: kubesphere-system
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: openebs.io/local
    volume.kubernetes.io/selected-node: k8s-worker1
  creationTimestamp: "2023-03-22T09:26:22Z"
  finalizers:
  - kubernetes.io/pvc-protection
  labels:
    app: minio
    app.kubernetes.io/managed-by: Helm
    chart: minio-2.5.16
    heritage: Helm
    release: ks-minio
  name: minio
  namespace: kubesphere-system
  resourceVersion: "336946"
  uid: 776675a0-ccb9-46b6-a6e3-2cbc7003db0b
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local
  volumeMode: Filesystem
  volumeName: pvc-776675a0-ccb9-46b6-a6e3-2cbc7003db0b
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 20Gi
  phase: Bound

删除 pvc

kubectl delete pvc -n kubesphere-system minio

重建 pvc

vim kubesphere-minio-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app: minio
    app.kubernetes.io/managed-by: Helm
    chart: minio-2.5.16
    heritage: Helm
    release: ks-minio
  name: minio
  namespace: kubesphere-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: nfs-client

基于 cert-manager 实现证书证书自动化管理

一、Cert-Manager 概述

cert-manager 是 Kubernetes 的原生证书管理器（CRD 控制器），它能够为 Kubernetes 或 OpenShift 集群中的工作负载创建 TLS 证书，并在证书到期前自动续订证书。

它的作用是监控 Kubernetes 中的 Certificate 资源，自动向配置的证书颁发者（Issuer）申请证书，获取到证书后生成包含私钥和证书的 Kubernetes Secret（signed keypair），该 Secret 由应用程序 Pod 挂载或由 Ingress 控制器使用。

而使用 csi-driver、csi-driver-spiffe 或 istio-csr 时，私钥会在应用程序启动前按需生成；私钥永远不会离开节点，也不会存储在 Kubernetes Secret 中。

cert-manager 可以从各种证书颁发机构获取证书，包括： Let’s Encrypt、HashiCorp Vault、 Venafi 和私有 PKI（私有证书颁发机构，自签名证书）。

参考文档

官网：https://cert-manager.io
官方文档：https://cert-manager.io/docs/
github：https://github.com/cert-manager/cert-manager

1. 架构

Issuers（证书颁发者）图中展示了 cert-manager 配置的多个 Issuer 或 ClusterIssuer，这些是不同的证书来源：

letsencrypt-prod：Let’s Encrypt 生产环境，用于颁发真实可信的公网证书。
letsencrypt-staging：Let’s Encrypt 测试环境，用于开发测试，避免触发频率限制。
hashicorp-vault：HashiCorp Vault 的证书颁发功能（通常通过 Vault 的 PKI secrets engine）。
cyberark-saas：CyberArk 的云托管证书服务（Conjur 或 CyberArk Trust Protection）。
cyberark-self-hosted：自托管的 CyberArk 证书颁发服务。
这些 Issuer 都指向同一个 cert-manager，意思是 cert-manager 可以根据不同的需求选择不同的后端来签发证书。

Certificates（证书资源）这是 Kubernetes 中的 cert-manager 自定义资源（Certificate CR），代表你想要申请的证书。图中举了两个例子：