基于 kubeadm 部署 k8s 集群

前言

下面使用的是 kubeadm 来部署 k8s 集群
目前 kubeadm 工具已经非常成熟，并且便于后期管理；
如果使用 ansible 进行二进制安装会带来后期管理的困难，并且 ansible + 二进制安装也不是官方推荐的做法，毕竟这种工具不属于云原生体系的范畴。

部署流程概述

任意 master 节点运行 kubeadm init 初始化命令只在一个 master 节点执行即可（不进行初始化的话 master节点的kubelet会报错）
将其他 master 节点加入到初始化完成的 master节点
验证 master 节点状态
在 node 节点使用 kubeadm 命令将自己加入 k8s master（需要使用 master 生成 token认证）
验证 node 节点状态
创建 pod 并测试网络通信
部署 web 服务 Dashboard
k8s 集群升级

先决条件

注意：下面演示的是安装 k8s 1.23.x 版本
时间同步、关闭iptables等

禁用 swap

默认需禁用 swap
swapoff -a 后注释或删除 fstab 文件中swap相关的挂载信息

# free -h
Swap:            0B          0B          0B #表示已经禁用

开启相关模块

# 查看相关模块是否开启，两者都有显示即代表开启
# lsmod | grep -E "^(overlay|br_netfilter)"
br_netfilter           28672  0
overlay               118784  0

# 临时加载模块
modprobe br_netfilter
modprobe overlay

# 永久加载模块
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

修改相关内核参数

下面只是一些部署k8s集群必要的参数，其它内核参数还需根据生产环境按需修改

# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# 应用 sysctl 参数而不重新启动
sudo sysctl --system

配置 Docker 仓库

在所有节点配置

Debian / Ubuntu

# 更新仓库
apt-get update


# 安装相关依赖包
apt-get -y install \
apt-transport-https \
ca-certificates \
curl \
gnupg \
lsb-release


# 添加Docker官方的GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg


# 写入软件源信息，从阿里云获取，这样速度更快
echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu/ \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 更新仓库
apt-get update

# 查看可以安装的 docker-ce 和 docker-ce-cli 版本
apt-cache madison docker-ce docker-ce-cli

配置 K8s 仓库

在所有节点配置

Debian / Ubuntu

ps: 由于官网未开放同步方式, 可能会有索引gpg检查失败的情况, 这时请用 yum install -y --nogpgcheck kubelet kubeadm kubectl 安装

curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add - 

apt-get update && apt-get install -y apt-transport-https

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

apt-get update

CentOS / RHEL / Fedora

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

setenforce 0

#指定版本安装。。。。。。
yum install -y kubelet kubeadm kubectl

systemctl enable kubelet && systemctl start kubelet

Container Runtime

Docker

安装 docker

# 安装
apt -y install \
docker-ce=5:20.10.7~3-0~ubuntu-focal \
docker-ce-cli=5:20.10.7~3-0~ubuntu-focal

# 验证
# docker -v
Docker version 19.03.15, build 99e3ed8919

配置 docker

设置 docker 的 cgroup 驱动为 systemd，以及配置加速

# vim /etc/docker/daemon.json
{
    "registry-mirrors": ["https://jqm0rnhf.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}

# systemctl restart docker

# docker info|grep Cgroup
 Cgroup Driver: systemd

参考文档：

k8s 1.24+ 额外配置

安装 cri-dockerd

基于 Sealos 离线部署 K8s 集群

Sealos 的优势在于它将 K8s 的二进制文件、Containerd、CNI 插件（如 Cilium 或 Calico）以及依赖库全部封装在了一个 OCI 镜像中，无需在 Ubuntu 上手动处理繁琐的依赖。

参考文档：

https://github.com/labring/sealos
https://hub.docker.com/u/labring（Sealos 的官方镜像仓库，包含 K8s 生态中的常见组件）

以下是针对 Ubuntu 22.04 + K8s v1.33.6 的详细离线部署方案：

一、先决条件

1. 机器准备

需要准备两类机器：

在线机器：用于下载 Sealos 二进制文件和 K8s 集群镜像。
离线目标服务器：运行 Ubuntu 22.04，准备部署 K8s 的机器。

2. ssh 免密登录

需要在控制机（通常是第一个 Master 节点）上配置 ssh 免密登录到所有目标服务器（Master 和 Node 节点）。

二、在线机器操作（下载与打包）

在可以联网的电脑上执行以下步骤：

1. 下载 Sealos CLI

# 下载 Sealos
wget https://github.com/labring/sealos/releases/download/v5.1.1/sealos_5.1.1_linux_amd64.tar.gz

# 解压并保留二进制文件
tar xvf sealos_5.1.1_linux_amd64.tar.gz sealos

# 移动到 /usr/local/bin 目录
mv sealos /usr/local/bin/

# 验证安装
sealos version

2. 下载并保存 K8s 与 Calico 镜像

# 拉取镜像
sealos pull labring/kubernetes:v1.33.6
sealos pull labring/calico:v3.27.4

# 导出为离线包
sealos save -o kubernetes-v1.33.6.tar labring/kubernetes:v1.33.6
sealos save -o calico-v3.27.4.tar labring/calico:v3.27.4

三、离线服务器操作（部署）

将下载好的 sealos 二进制文件、kubernetes-v1.33.6.tar 和 calico-v3.27.4.tar 复制到某个 Master 节点（例如 /root 目录）后，执行以下命令。

部署完成后的优化

为 kubectl 配置 tab 键补全

# 安装基础补全包
apt-get update
apt-get install -y bash-completion

# 为 kubectl 配置 tab 键补全
kubectl completion bash >> /etc/profile.d/kubectl_completion.sh

# 使配置生效
source /etc/profile.d/kubectl_completion.sh

# 输入 kubectl 后按 tab 键验证补全是否生效