环境信息概要

虚拟化层：VMWare ESXi 6.7 虚拟硬件：    CPU： 4 Core    RAM： 8 GB    HDD： 256 GB SCSI    NetWork： NAT操作系统版本： CentOS Linux release 7.9.2009 (Core)内核版本：6.5.3-1.el7.elrepo.x86_64Docker版本：24.0.6Kubernetes版本：v1.19.16

编号

主机名

IP

角色

01

K8s-Master-01

172.16.26.127

主节点

02

K8s-Node-01

172.16.26.128

Node 1

03

K8s-Node-02

172.16.26.129

Node 2

除特殊声明外，所有操作三台主机同步操作。

基本环境准备编辑 Hosts 解析 文件

#    编辑 Hosts 解析 文件cat >>/etc/hosts <<'EOF'172.16.26.127 K8s-Master-01172.16.26.128 K8s-Node-01172.16.26.129 K8s-Node-02EOF#    测试 机器 连通性ping K8s-Master-01ping K8s-Node-01ping K8s-Node-02

修改网络安全配置

#    基本要求K8s-Master 节点: TCP: 6443，2379，2380，60080，60081 UDP协议端口全部打开K8s-Slave 节点: UDP协议端口全部打开#    停止 防火墙及网络管理 服务systemctl stop firewalld NetworkManager#    禁止 防火墙及网络管理 服务 开机自启动systemctl disable firewalld NetworkManager#    禁用 SELinuxsed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config#    SELinux 宽容模式getenforce 0#    清空 防火墙 iptables 规则iptables -F#    清空 防火墙 iptables 自定义链配置iptables -X#    清空 防火墙 iptables 计数器信息iptables -Z#    开启 防火墙 iptables 转发策略开启iptables -P FORWARD ACCEPT

关闭 SWAP

#    关闭 swapswapoff -a#    防止 开机自动挂在 swap 分区sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab#    整合命令swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

更换 阿里云 源

#    替换 源 文件 及 修改其他源文件curl -o /etc/yum.repos.d/CentOS-Base.repo  -o /etc/yum.repos.d/epel-7.repo  -i '/aliyuncs/d' /etc/yum.repos.d/*.repo#    清理缓存 并 重建缓存sudo yum clean all && sudo yum makecache

同步时间

#    CentOS 7 环境 同步时间设置#    安装 NTP 服务sudo yum -y install ntp#    配置 阿里云 时间服务器sudo ntpdate -u ntp.aliyun.com#    配置 时区sudo timedatectl set-timezone Asia/Shanghai#    将 时间 写入 BIOSsudo hwclock --localtime --systohc#    查看 系统时间 详细信息sudo timedatectl

修改内核参数

#    创建 并 修改 K8s 配置文件cat <<EOF > /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1vm.max_map_count=262144EOF#    加载内核模块 modprobe 开启包转发功能sudo modprobe br_netfilter#    执行 K8s 配置文件sysctl -p /etc/sysctl.d/k8s.conf#    查看执行结果sysctl -a

安装 Docker 环境

#    转 Docker 部署文档

安装 Kubeadm 工具配置 K8s 源

#    修改 K8s 源文件 配置 阿里云 源cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=     导入秘钥rpm --import 

安装 Kubeadm

#    安装 K8s 初始化工具#    kubelet-1.19.3    组件，增删改查Pod#    kubeadm-1.19.3    自动拉取K8s基础组件镜像工具#    kubectl-1.19.3    管理、维护K8s客户端的命令行工具#    查询 源中 所有的 版本yum list kubeadm --showduplicateyum list kubeadm --showduplicate | grep 1.19.#    安装 K8s kubeadm#    安装 1.19.16 是因为 教程安装的是1.19.3，因此选择了1.19的Last版本，避免与教程产生差异yum install -y kubelet kubeadm kubectl#    安装 指定版本 yum install -y kubelet-1.19.16 kubeadm-1.19.16 kubectl-1.19.16#    查看 kubeadm 版本kubeadm version

查询 源中 所有的 版本

安装 指定版本

配置 K8s kubulet

#    配置 Kubulet 开机自启动systemctl start kubelet && systemctl enable kubelet#    查看 Kubulet 运行状态ps -ef | grep kubelet

安装 K8s Master 节点保存 所有节点 端口状态

#    保留所有节点 应用 端口状态netstat -tunlp

安装 Kubeadm （仅 Master 节点）

#    配置 K8s Master 节点#    apiserver-advertise-address 集群通告地址#    image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址#    kubernetes-version K8s版本，与上面安装的一致#    service-cidr 集群内部虚拟网络，Pod统一访问入口#    pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致#    安装 kubeadmkubeadm init \    --apiserver-advertise-address=172.16.26.127 \    --image-repository registry.aliyuncs.com/google_containers \    --kubernetes-version v1.19.16 \    --service-cidr=172.16.26.0/24 \    --pod-network-cidr=172.17.26.0/24 \    --service-dns-domain=cluster.local \    --ignore-preflight-errors=Swap \    --ignore-preflight-errors=NumCPU

Kubeadm init 返还信息 （文本内容，需要自行保存）

Your Kubernetes control-plane has initialized successfully!#    您的Kubernetes控制平面已成功初始化！您的Kubernetes控制平面已成功初始化！To start using your cluster, you need to run the following as a regular user:#    要开始使用集群，您需要以常规用户身份运行以下操作  mkdir -p $HOME/.kube  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  sudo chown $(id -u):$(id -g) $HOME/.kube/config#########################################################################################################You should now deploy a pod network to the cluster.#    您现在应该向集群部署一个pod网络Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:   you can join any number of worker nodes by running the following on each as root:#    然后，您可以通过以root身份在每个工作节点上运行以下操作来加入任意数量的工作节点：kubeadm join 172.16.26.127:6443 --token ria901.u940o84cyjuxdnz1 \    --discovery-token-ca-cert-hash sha256:59e9091096f8a60f2a6a66f67cd928d986c35e443644be49e6f54fc76716f632 

再次查询 所有节点 端口状态

#    再次查询所有节点 应用 端口状态netstat -tunlp

初始化 K8s 环境初始化 K8s Master 节点 （仅 Master 节点）

#    根据提示，完成集群初始化配置 （内容取自 Kubeadm init 返还信息）mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config#    查询节点信息kubectl get nodes

将 Node 节点 加入 K8s 环境

#    加入 K8s Node 到 集群 中#    在 Node 节点中 输入 （信息取自 Kubeadm init 返还信息）kubeadm join 172.16.26.127:6443 --token ria901.u940o84cyjuxdnz1 \    --discovery-token-ca-cert-hash sha256:59e9091096f8a60f2a6a66f67cd928d986c35e443644be49e6f54fc76716f632

查询 节点信息

#    查看有哪些工作节点kubectl get nodes#    查看有哪些工作节点 -owide 更详细信息kubectl get nodes -o wide

安装 flannel 网络组件下载 flannel

#    克隆方式下载 flannel （--depth 1 表示 仅下载最近一次commit）git clone --depth 1     直接下载  flannelcurl -o flannel.zip  flannel.zip#    也可以自行下载并拖入~ 文件夹

安装 Kubectl 命令补全

#    安装 命令补全工具yum install -y bash-completion#    配置 kubectl 命令补全source /usr/share/bash-completion/bash_completionsource <(kubectl completion bash)echo "source <(kubectl completion bash)" >> ~/.bashrc

编辑 kube-flannel.yml 文件

#    进入 yml 文件 目录cd ~/flannel/Documentation#    备份 kube-flannel.yml 文件cp kube-flannel.yml kube-flannel.yml.bak#    编辑 kube-flannel.yml 文件nano kube-flannel.yml#    以下两组修改可以一次性完成修改后再保存，不需要分两次

编辑 kube-flannel.yml 文件中 K8s 网络 信息

#    修改 K8s 网络 信息#    不同版本的kube-flannel.yml 文件 内容行数略有不同#    修改 第100行 （内容根据 kubeadm init 安装参数 --pod-network-cidr=172.17.26.0/24）#    搜索 “net-conf.json”#    {  net-conf.json: |    {      "Network": "172.17.26.0/24",      "Backend": {        "Type": "vxlan"      }    }#    }#    查看 修改结果grep 'Network' -A 5 kube-flannel.yml

查看 本地物理网卡 信息编辑

#    查看 本地服务器 物理网卡信息，并备案结果ip a

编辑 kube-flannel.yml 文件中 本地网卡 信息

#    配置 Flannel 物理网卡信息，修改第170行以下内容  #    {args:- --ip-masq- --kube-subnet-mgr- --iface=ens192#    } 

创建 集群资源对象

#    通过 kube-flannel.yml 文件 创建 集群资源对象kubectl create -f ./kube-flannel.yml#    确认 所有 节点 容器 #    可以找到 flannel 相关容器资源，且所有Node节点均有该资源#    K8s 通过 API Server 发布该资源，ETCD存储后，Node 的kubelet进程监听ETCD后，自动创建资源docker ps -a |grep flannel

再次 查询 节点信息

#    查看有哪些工作节点kubectl get nodes#    查看有哪些工作节点 -owide 更详细信息kubectl get nodes -o wide