一、前言

其实之前已经部署过了1.22.1版本了，基础概念和细节的东西这里就不再重复了，小伙伴可以参考我之前的文章哦：

Kubernetes（k8s）基础概念介绍

Kubernetes（k8s）安装以及搭建k8s-Dashboard详解

Kubernetes（k8s） YAML文件详解

Kubernetes（k8s）pod详解

Kubernetes（k8s）五种控制器详解

Kubernetes（k8s）kube-proxy、Service详解

Kubernetes（k8s）Ingress原理

Kubernetes（k8s）DNS（CoreDNS）介绍

Kubernetes（k8s）CNI（flannel）网络模型原理

Kubernetes（k8s）权限管理RBAC详解

Kubernetes（k8s）包管理器Helm（Helm3）介绍&Helm3安装Harbor

Kubernetes（k8s）API Server详解

Kubernetes（k8s）ConfigMap详解及应用

官网：

官方文档：

二、基础环境部署1）前期准备（所有节点）1、修改主机名和配置hosts

先部署1master和2node节点，后面再加一个master节点

# 在192.168.0.113执行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114执行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115执行hostnamectl set-hostname k8s-node2-168-0-115

配置hosts

cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115EOF

2、配置ssh互信

# 直接一直回车就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115

3、时间同步

yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

7、关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

4、关闭swap

# 临时关闭；关闭swap主要是为了性能考虑swapoff -a# 可以通过这个命令查看swap是否关闭了free# 永久关闭        sed -ri 's/.*swap.*/#&/' /etc/fstab

5、禁用SELinux

# 临时关闭setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

6、允许 iptables 检查桥接流量（可选，所有节点）

若要显式加载此模块，请运行 sudo modprobe br_netfilter，通过运行 lsmod | grep br_netfilter 来验证 br_netfilter 模块是否已加载，

sudo modprobe br_netfilterlsmod | grep br_netfilter

为了让 Linux 节点的 iptables 能够正确查看桥接流量，请确认 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 设置为 1。 例如：

cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后保持不变cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 应用 sysctl 参数而不重新启动sudo sysctl --system

2）安装容器docker（所有节点）

提示：v1.24 之前的 Kubernetes 版本包括与 Docker Engine 的直接集成，使用名为 dockershim 的组件。 这种特殊的直接整合不再是 Kubernetes 的一部分 （这次删除被作为 v1.20 发行版本的一部分宣布）。 你可以阅读检查 Dockershim 弃用是否会影响你 以了解此删除可能会如何影响你。 要了解如何使用 dockershim 进行迁移，请参阅从 dockershim 迁移。

# 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo  centos8wget -O /etc/yum.repos.d/CentOS-Base.repo  安装yum-config-manager配置工具yum -y install yum-utils# 设置yum源yum-config-manager --add-repo  安装docker-ce版本yum install -y docker-ce# 启动systemctl start docker# 开机自启systemctl enable docker# 查看版本号docker --version# 查看版本具体信息docker version# Docker镜像源设置# 修改文件 /etc/docker/daemon.json，没有这个文件就创建# 添加以下内容后，重启docker服务：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": [";]}EOF# 加载systemctl reload docker# 查看systemctl status docker containerd

【温馨提示】dockerd实际真实调用的还是containerd的api接口，containerd是dockerd和runC之间的一个中间交流组件。所以启动docker服务的时候，也会启动containerd服务的。

3）配置k8s yum源（所有节点）

cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=

4）将 sandbox_image 镜像源设置为阿里云google_containers镜像源（所有节点）

# 导出默认配置，config.toml这个文件默认是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

5）配置containerd cgroup 驱动程序systemd（所有节点）

kubernets自ｖ1.24.0后，就不再使用docker.shim，替换采用containerd作为容器运行时端点。因此需要安装containerd（在docker的基础下安装），上面安装docker的时候就自动安装了containerd了。这里的docker只是作为客户端而已。容器引擎还是containerd。

sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 应用所有更改后,重新启动containerdsystemctl restart containerd

6）开始安装kubeadm，kubelet和kubectl（master节点）

# 不指定版本就是最新版本，当前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的仓库# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务systemctl enable --now kubelet# 查看状态，这里需要等待一段时间再查看服务状态，启动会有点慢systemctl status kubelet

查看日志，发现有报错，报错如下：

kubelet.service: Main process exited, code=exited, status=1/FAILURE kubelet.service: Failed with result 'exit-code'.

【解释】重新安装（或第一次安装）k8s，未经过kubeadm init 或者 kubeadm join后，kubelet会不断重启，这个是正常现象……，执行init或join后问题会自动解决，对此官网有如下描述，也就是此时不用理会kubelet.service。

查看版本

kubectl versionyum info kubeadm

7）使用 kubeadm 初始化集群（master节点）

最好提前把镜像下载好，这样安装快

docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.24.1docker pull registry.aliyuncs.com/google_containers/pause:3.7docker pull registry.aliyuncs.com/google_containers/etcd:3.5.3-0docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6

集群初始化

kubeadm init \  --apiserver-advertise-address=192.168.0.113 \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从下载最新的版本号，我们可以将其指定为固定版本（v1.22.1）来跳过网络请求。# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。这里的ip为master节点ip，记得更换。# –pod-network-cidr             指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到该 IP 的自定义 DNS 名称，这里配置hosts映射：192.168.0.113   cluster-endpoint。 这将允许你将 --control-plane-endpoint=cluster-endpoint 传递给 kubeadm init，并将相同的 DNS 名称传递给 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的负载均衡器的地址。

【温馨提示】kubeadm 不支持将没有 --control-plane-endpoint 参数的单个控制平面集群转换为高可用性集群。

重置再初始化

kubeadm resetrm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*kubeadm init \  --apiserver-advertise-address=192.168.0.113  \  --image-repository registry.aliyuncs.com/google_containers \  --control-plane-endpoint=cluster-endpoint \  --kubernetes-version v1.24.1 \  --service-cidr=10.1.0.0/16 \  --pod-network-cidr=10.244.0.0/16 \  --v=5# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从下载最新的版本号，我们可以将其指定为固定版本（v1.22.1）来跳过网络请求。# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。这里的ip为master节点ip，记得更换。# –pod-network-cidr             指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到该 IP 的自定义 DNS 名称，这里配置hosts映射：192.168.0.113   cluster-endpoint。 这将允许你将 --control-plane-endpoint=cluster-endpoint 传递给 kubeadm init，并将相同的 DNS 名称传递给 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的负载均衡器的地址。

配置环境变量

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config# 临时生效（退出当前窗口重连环境变量失效）export KUBECONFIG=/etc/kubernetes/admin.conf# 永久生效（推荐）echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profilesource  ~/.bash_profile

发现节点还是有问题，查看日志 /var/log/messages

"Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: cni plugin not initialized"

接下来就是安装Pod网络插件

8）安装Pod网络插件（CNI：Container Network Interface）(master)

你必须部署一个基于 Pod 网络插件的 容器网络接口 (CNI)，以便你的 Pod 可以相互通信。

# 最好提前下载镜像（所有节点）docker pull quay.io/coreos/flannel:v0.14.0kubectl apply -f 

如果上面安装失败，则下载我百度里的，离线安装

链接：

提取码：8888

再查看node节点，就已经正常了

9）node节点加入k8s集群

先安装kubelet

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务systemctl enable --now kubeletsystemctl status kubelet

如果没有令牌，可以通过在控制平面节点上运行以下命令来获取令牌：

kubeadm token list

默认情况下，令牌会在24小时后过期。如果要在当前令牌过期后将节点加入集群， 则可以通过在控制平面节点上运行以下命令来创建新令牌：

kubeadm token create# 再查看kubeadm token list

如果你没有 –discovery-token-ca-cert-hash 的值，则可以通过在控制平面节点上执行以下命令链来获取它：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建（推荐）一般不用上面的分别获取token和ca-cert-hash方式，执行以下命令一气呵成：

kubeadm token create --print-join-command

这里需要等待一段时间，再查看节点节点状态，因为需要安装kube-proxy和flannel。

kubectl get pods -Akubectl get nodes

10）配置IPVS

【问题】集群内无法ping通ClusterIP（或ServiceName）

1、加载ip_vs相关内核模块

modprobe -- ip_vsmodprobe -- ip_vs_shmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrr

所有节点验证开启了ipvs：

lsmod |grep ip_vs

2、安装ipvsadm工具

yum install ipset ipvsadm -y

3、编辑kube-proxy配置文件，mode修改成ipvs

kubectl edit  configmap -n kube-system  kube-proxy

4、重启kube-proxy

# 先查看kubectl get pod -n kube-system | grep kube-proxy# 再delete让它自拉起kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'# 再查看kubectl get pod -n kube-system | grep kube-proxy

5、查看ipvs转发规则

ipvsadm -Ln

11）集群高可用配置

配置高可用（HA）Kubernetes 集群实现的两种方案：

使用堆叠（stacked）控制平面节点，其中 etcd 节点与控制平面节点共存（本章使用），架构图如下：使用外部 etcd 节点，其中 etcd 在与控制平面不同的节点上运行，架构图如下：

这里新增一台机器作为另外一个master节点：192.168.0.116

配置跟上面master节点一样。只是不需要最后一步初始化了。1、修改主机名和配置hosts

所有节点都统一如下配置：

# 在192.168.0.113执行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114执行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115执行hostnamectl set-hostname k8s-node2-168-0-115# 在192.168.0.116执行hostnamectl set-hostname k8s-master2-168-0-116

配置hosts

cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113 cluster-endpoint192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116EOF

2、配置ssh互信

# 直接一直回车就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master2-168-0-116

3、时间同步

yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

7、关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

4、关闭swap

# 临时关闭；关闭swap主要是为了性能考虑swapoff -a# 可以通过这个命令查看swap是否关闭了free# 永久关闭        sed -ri 's/.*swap.*/#&/' /etc/fstab

5、禁用SELinux

# 临时关闭setenforce 0# 永久禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

6、允许 iptables 检查桥接流量（可选，所有节点）

若要显式加载此模块，请运行 sudo modprobe br_netfilter，通过运行 lsmod | grep br_netfilter 来验证 br_netfilter 模块是否已加载，

sudo modprobe br_netfilterlsmod | grep br_netfilter

为了让 Linux 节点的 iptables 能够正确查看桥接流量，请确认 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 设置为 1。 例如：

cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后保持不变cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 应用 sysctl 参数而不重新启动sudo sysctl --system

7、安装容器docker（所有节点）

提示：v1.24 之前的 Kubernetes 版本包括与 Docker Engine 的直接集成，使用名为 dockershim 的组件。 这种特殊的直接整合不再是 Kubernetes 的一部分 （这次删除被作为 v1.20 发行版本的一部分宣布）。 你可以阅读检查 Dockershim 弃用是否会影响你 以了解此删除可能会如何影响你。 要了解如何使用 dockershim 进行迁移，请参阅从 dockershim 迁移。

# 配置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo  centos8wget -O /etc/yum.repos.d/CentOS-Base.repo  安装yum-config-manager配置工具yum -y install yum-utils# 设置yum源yum-config-manager --add-repo  安装docker-ce版本yum install -y docker-ce# 启动systemctl start docker# 开机自启systemctl enable docker# 查看版本号docker --version# 查看版本具体信息docker version# Docker镜像源设置# 修改文件 /etc/docker/daemon.json，没有这个文件就创建# 添加以下内容后，重启docker服务：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": [";]}EOF# 加载systemctl reload docker# 查看systemctl status docker containerd

【温馨提示】dockerd实际真实调用的还是containerd的api接口，containerd是dockerd和runC之间的一个中间交流组件。所以启动docker服务的时候，也会启动containerd服务的。

8、配置k8s yum源（所有节点）

cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=

9、将 sandbox_image 镜像源设置为阿里云google_containers镜像源（所有节点）

# 导出默认配置，config.toml这个文件默认是不存在的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

10、配置containerd cgroup 驱动程序systemd

kubernets自ｖ1.24.0后，就不再使用docker.shim，替换采用containerd作为容器运行时端点。因此需要安装containerd（在docker的基础下安装），上面安装docker的时候就自动安装了containerd了。这里的docker只是作为客户端而已。容器引擎还是containerd。

sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 应用所有更改后,重新启动containerdsystemctl restart containerd

11、开始安装kubeadm，kubelet和kubectl（master节点）

# 不指定版本就是最新版本，当前最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的仓库# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务systemctl enable --now kubelet# 查看状态，这里需要等待一段时间再查看服务状态，启动会有点慢systemctl status kubelet# 查看版本kubectl versionyum info kubeadm

12、加入k8s集群

# 证如果过期了，可以使用下面命令生成新证书上传，这里会打印出certificate key，后面会用到kubeadm init phase upload-certs --upload-certs# 你还可以在 【init】期间指定自定义的 --certificate-key，以后可以由 join 使用。 要生成这样的密钥，可以使用以下命令（这里不执行，就用上面那个自命令就可以了）：kubeadm certs certificate-keykubeadm token create --print-join-commandkubeadm join cluster-endpoint:6443 --token wswrfw.fc81au4yvy6ovmhh --discovery-token-ca-cert-hash sha256:43a3924c25104d4393462105639f6a02b8ce284728775ef9f9c30eed8e0abc0f --control-plane --certificate-key 8d2709697403b74e35d05a420bd2c19fd8c11914eb45f2ff22937b245bed5b68# --control-plane 标志通知 kubeadm join 创建一个新的控制平面。加入master必须加这个标记# --certificate-key ... 将导致从集群中的 kubeadm-certs Secret 下载控制平面证书并使用给定的密钥进行解密。这里的值就是上面这个命令（kubeadm init phase upload-certs --upload-certs）打印出的key。

根据提示执行如下命令：

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

查看

kubectl get nodeskubectl get pods -A -owide

虽然现在已经有两个master了，但是对外还是只能有一个入口的，所以还得要一个负载均衡器，如果一个master挂了，会自动切到另外一个master节点。

12）部署Nginx+Keepalived高可用负载均衡器1、安装Nginx和Keepalived

# 在两个master节点上执行yum install nginx keepalived -y

2、Nginx配置

在两个master节点配置

cat > /etc/nginx/nginx.conf << "EOF"user nginx;worker_processes auto;error_log /var/log/nginx/error.log;pid /run/nginx.pid;include /usr/share/nginx/modules/*.conf;events {    worker_connections 1024;}# 四层负载均衡，为两台Master apiserver组件提供负载均衡stream {    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';    access_log  /var/log/nginx/k8s-access.log  main;    upstream k8s-apiserver {	   # Master APISERVER IP:PORT       server 192.168.0.113:6443;	   # Master2 APISERVER IP:PORT       server 192.168.0.116:6443;    }    server {       listen 16443;       proxy_pass k8s-apiserver;    }}http {    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';    access_log  /var/log/nginx/access.log  main;    sendfile            on;    tcp_nopush          on;    tcp_nodelay         on;    keepalive_timeout   65;    types_hash_max_size 2048;    include             /etc/nginx/mime.types;    default_type        application/octet-stream;    server {        listen       80 default_server;        server_name  _;        location / {        }    }}EOF

【温馨提示】如果只保证高可用，不配置k8s-apiserver负载均衡的话，可以不装nginx，但是最好还是配置一下k8s-apiserver负载均衡。

3、Keepalived配置（master）

cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_MASTER}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state MASTER    interface ens33    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的    priority 100    # 优先级，备服务器设置 90    advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒    authentication {        auth_type PASS        auth_pass 1111    }    # 虚拟IP    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

vrrp_script：指定检查nginx工作状态脚本（根据nginx状态判断是否故障转移）virtual_ipaddress：虚拟IP（VIP）

检查nginx状态脚本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

4、Keepalived配置（backup）

cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_BACKUP}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state BACKUP    interface ens33    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的    priority 90    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

检查nginx状态脚本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

5、启动并设置开机启动

systemctl daemon-reloadsystemctl restart nginx && systemctl enable nginx && systemctl status nginxsystemctl restart keepalived && systemctl enable keepalived && systemctl status keepalived

查看VIP

ip a

6、修改hosts（所有节点）

将cluster-endpoint之前执行的ip修改执行现在的VIP

192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116192.168.0.120 cluster-endpoint

7、测试验证

查看版本（负载均衡测试验证）

curl -k 

高可用测试验证，将k8s-master-168-0-113节点关机

shutdown -h nowcurl -k  get nodes -Akubectl get pods -A

【温馨提示】堆叠集群存在耦合失败的风险。如果一个节点发生故障，则 etcd 成员和控制平面实例都将丢失， 并且冗余会受到影响。你可以通过添加更多控制平面节点来降低此风险。

三、k8s管理平台dashboard环境部署1）dashboard部署

GitHub地址：

kubectl apply -f  get pods -n kubernetes-dashboard

但是这个只能内部访问，所以要外部访问，要么部署ingress，要么就是设置service NodePort类型。这里选择service暴露端口。

wget 

修改后的内容如下：

# Copyright 2017 The Kubernetes Authors.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License at##      Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.apiVersion: v1kind: Namespacemetadata:  name: kubernetes-dashboard---apiVersion: v1kind: ServiceAccountmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboard---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  type: NodePort  ports:    - port: 443      targetPort: 8443      nodePort: 31443  selector:    k8s-app: kubernetes-dashboard---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-certs  namespace: kubernetes-dashboardtype: Opaque---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-csrf  namespace: kubernetes-dashboardtype: Opaquedata:  csrf: ""---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-key-holder  namespace: kubernetes-dashboardtype: Opaque---kind: ConfigMapapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-settings  namespace: kubernetes-dashboard---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardrules:  # Allow Dashboard to get, update and delete Dashboard exclusive secrets.  - apiGroups: [""]    resources: ["secrets"]    resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]    verbs: ["get", "update", "delete"]    # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.  - apiGroups: [""]    resources: ["configmaps"]    resourceNames: ["kubernetes-dashboard-settings"]    verbs: ["get", "update"]    # Allow Dashboard to get metrics.  - apiGroups: [""]    resources: ["services"]    resourceNames: ["heapster", "dashboard-metrics-scraper"]    verbs: ["proxy"]  - apiGroups: [""]    resources: ["services/proxy"]    resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]    verbs: ["get"]---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboardrules:  # Allow Metrics Scraper to get metrics from the Metrics server  - apiGroups: ["metrics.k8s.io"]    resources: ["pods", "nodes"]    verbs: ["get", "list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: Role  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: kubernetes-dashboard  template:    metadata:      labels:        k8s-app: kubernetes-dashboard    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: kubernetes-dashboard          image: kubernetesui/dashboard:v2.6.0          imagePullPolicy: Always          ports:            - containerPort: 8443              protocol: TCP          args:            - --auto-generate-certificates            - --namespace=kubernetes-dashboard            # Uncomment the following line to manually specify Kubernetes API server Host            # If not specified, Dashboard will attempt to auto discover the API server and connect            # to it. Uncomment only if the default does not work.            # - --apiserver-host=          volumeMounts:            - name: kubernetes-dashboard-certs              mountPath: /certs              # Create on-disk volume to store exec logs            - mountPath: /tmp              name: tmp-volume          livenessProbe:            httpGet:              scheme: HTTPS              path: /              port: 8443            initialDelaySeconds: 30            timeoutSeconds: 30          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      volumes:        - name: kubernetes-dashboard-certs          secret:            secretName: kubernetes-dashboard-certs        - name: tmp-volume          emptyDir: {}      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  ports:    - port: 8000      targetPort: 8000  selector:    k8s-app: dashboard-metrics-scraper---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: dashboard-metrics-scraper  template:    metadata:      labels:        k8s-app: dashboard-metrics-scraper    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: dashboard-metrics-scraper          image: kubernetesui/metrics-scraper:v1.0.8          ports:            - containerPort: 8000              protocol: TCP          livenessProbe:            httpGet:              scheme: HTTP              path: /              port: 8000            initialDelaySeconds: 30            timeoutSeconds: 30          volumeMounts:          - mountPath: /tmp            name: tmp-volume          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule      volumes:        - name: tmp-volume          emptyDir: {}

重新部署

kubectl delete -f recommended.yamlkubectl apply -f recommended.yamlkubectl get svc,pods -n kubernetes-dashboard

2）创建登录用户

cat >ServiceAccount.yaml<<EOFapiVersion: v1kind: ServiceAccountmetadata:  name: admin-user  namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: admin-userroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: cluster-adminsubjects:- kind: ServiceAccount  name: admin-user  namespace: kubernetes-dashboardEOFkubectl apply -f ServiceAccount.yaml

创建并获取登录token

kubectl -n kubernetes-dashboard create token admin-user

3）配置hosts登录dashboard web

192.168.0.120 cluster-endpoint

登录：

输入上面创建的token登录

四、k8s镜像仓库harbor环境部署

GitHub地址：

这使用helm安装，所以得先安装helm

1）安装helm

mkdir -p /opt/k8s/helm && cd /opt/k8s/helmwget  -xf helm-v3.9.0-rc.1-linux-amd64.tar.gzln -s /opt/k8s/helm/linux-amd64/helm /usr/bin/helmhelm versionhelm help

2）配置hosts

192.168.0.120 myharbor.com

3）创建stl证书

mkdir /opt/k8s/helm/stl && cd /opt/k8s/helm/stl# 生成 CA 证书私钥openssl genrsa -out ca.key 4096# 生成 CA 证书openssl req -x509 -new -nodes -sha512 -days 3650 \ -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \ -key ca.key \ -out ca.crt# 创建域名证书，生成私钥openssl genrsa -out myharbor.com.key 4096# 生成证书签名请求 CSRopenssl req -sha512 -new \    -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com" \    -key myharbor.com.key \    -out myharbor.com.csr# 生成 x509 v3 扩展cat > v3.ext <<-EOFauthorityKeyIdentifier=keyid,issuerbasicConstraints=CA:FALSEkeyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEnciphermentextendedKeyUsage = serverAuthsubjectAltName = @alt_names[alt_names]DNS.1=myharbor.comDNS.2=*.myharbor.comDNS.3=hostnameEOF#创建 Harbor 访问证书openssl x509 -req -sha512 -days 3650 \    -extfile v3.ext \    -CA ca.crt -CAkey ca.key -CAcreateserial \    -in myharbor.com.csr \    -out myharbor.com.crt

4）安装ingress

ingress 官方网站：

ingress 仓库地址：

部署文档：

1、通过helm部署

helm upgrade --install ingress-nginx ingress-nginx \  --repo  \  --namespace ingress-nginx --create-namespace

2、通过YAML 文件安装（本章使用这个方式安装ingress）

kubectl apply -f 

如果下载镜像失败，可以用以下方式修改镜像地址再安装

# 可以先把镜像下载，再安装docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1wget  修改镜像地址sed -i 's@k8s.gcr.io/ingress-nginx/controller:v1.2.0\(.*\)@registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@' deploy.yamlsed -i 's@k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1\(.*\)$@registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1@' deploy.yaml###还需要修改两地方#1、kind: 类型修改成DaemonSet，replicas: 注销掉，因为DaemonSet模式会每个节点运行一个pod#2、在添加一条： hostnetwork：true#3、把LoadBalancer修改成NodePort#4、在--validating-webhook-key下面添加- --watch-ingress-without-class=true#5、设置master节点可调度kubectl taint nodes k8s-master-168-0-113 node-role.kubernetes.io/control-plane:NoSchedule-kubectl taint nodes k8s-master2-168-0-116 node-role.kubernetes.io/control-plane:NoSchedule-kubectl apply -f deploy.yaml

5）安装nfs1、所有节点安装nfs

yum -y install  nfs-utils rpcbind

2、在master节点创建共享目录并授权

mkdir /opt/nfsdata# 授权共享目录chmod 666 /opt/nfsdata

3、配置exports文件

cat > /etc/exports<<EOF/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)EOF# 配置生效exportfs -r

exportfs命令

常用选项

-a 全部挂载或者全部卸载

-r 重新挂载

-u 卸载某一个目录

-v 显示共享目录 以下操作在服务端上

4、启动rpc和nfs（客户端只需要启动rpc服务）（注意顺序）

systemctl start rpcbindsystemctl start nfs-serversystemctl enable rpcbindsystemctl enable nfs-server

查看

showmount -e# VIPshowmount -e 192.168.0.120

-e 显示NFS服务器的共享列表

-a 显示本机挂载的文件资源的情况NFS资源的情况

-v 显示版本号

5、客户端

# 安装yum -y install  nfs-utils rpcbind# 启动rpc服务systemctl start rpcbindsystemctl enable rpcbind# 创建挂载目录mkdir /mnt/nfsdata# 挂载echo "192.168.0.120:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstabmount -a

6、rsync数据同步【1】rsync安装

# 两端都得安装yum -y install rsync

【2】配置

在/etc/rsyncd.conf中添加

cat >/etc/rsyncd.conf<<EOFuid = rootgid = root#禁锢在源目录use chroot = yes#监听地址									address = 192.168.0.113#监听地址tcp/udp 873，可通过cat /etc/services | grep rsync查看					port 873#日志文件位置log file = /var/log/rsyncd.log#存放进程 ID 的文件位置pid file = /var/run/rsyncd.pid#允许访问的客户机地址hosts allow = 192.168.0.0/16#共享模块名称[nfsdata]#源目录的实际路径											path = /opt/nfsdatacomment = Document Root of 指定客户端是否可以上传文件，默认对所有模块为 trueread only = yes#同步时不再压缩的文件类型dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z#授权账户，多个账号以空格分隔，不加则为匿名，不依赖系统账号auth users = backuper#存放账户信息的数据文件secrets file = /etc/rsyncd_users.dbEOF

配置rsyncd_users.db

cat >/etc/rsyncd_users.db<<EOFbackuper:123456EOF#官方要求，最好只是赋权600！chmod 600 /etc/rsyncd_users.db

【3】rsyncd.conf 常用参数详解

rsyncd.conf 参数

参数说明

uid=root

rsync 使用的用户。

gid=root

rsync 使用的用户组（用户所在的组）

use chroot=no

如果为 true，daemon 会在客户端传输文件前“chroot to the path”。这是一种安全配置，因为我们大多数都在内网，所以不配也没关系

max connections=200

设置最大连接数，默认 0，意思无限制，负值为关闭这个模块

timeout=400

默认为 0，表示 no timeout，建议 300-600（5-10 分钟）

pid file

rsync daemon 启动后将其进程 pid 写入此文件。如果这个文件存在，rsync 不会覆盖该文件，而是会终止

lock file

指定 lock 文件用来支持“max connections”参数，使得总连接数不会超过限制

log file

不设或者设置错误，rsync 会使用 rsyslog 输出相关日志信息

ignore errors

忽略 I/O 错误

read only=false

指定客户端是否可以上传文件，默认对所有模块为 true

list=false

是否允许客户端可以查看可用模块列表，默认为可以

hosts allow

指定可以联系的客户端主机名或和 ip 地址或地址段，默认情况没有此参数，即都可以连接

hosts deny

指定不可以联系的客户端主机名或 ip 地址或地址段，默认情况没有此参数，即都可以连接

auth users

指定以空格或逗号分隔的用户可以使用哪些模块，用户不需要在本地系统中存在。默认为所有用户无密码访问

secrets file

指定用户名和密码存放的文件，格式；用户名；密码，密码不超过 8 位

[backup]

这里就是模块名称，需用中括号扩起来，起名称没有特殊要求，但最好是有意义的名称，便于以后维护

path

这个模块中，daemon 使用的文件系统或目录，目录的权限要注意和配置文件中的权限一致，否则会遇到读写的问题

【4】rsync常用命令参数详解

rsync --helprsync [选项]  原始位置   目标位置常用选项				说明-r				递归模式，包含目录及子目录中的所有文件-l				对于符号链接文件仍然复制为符号链接文件-v				显示同步过程的详细信息-z				在传输文件时进行压缩goD-p				保留文件的权限标记-a				归档模式，递归并保留对象属性，等同于-rlpt-t				保留文件的时间标记-g				保留文件的属组标记（仅超级用户使用）-o				保留文件的属主标记（仅超级用户使用）-H				保留硬链接文件-A				保留ACL属性信息-D				保留设备文件及其他特殊文件--delete		删除目标位置有而原始位置没有的文件--checksum		根据对象的校验和来决定是否跳过文件

【5】启动服务（数据源机器）

#rsync监听端口：873#rsync运行模式：C/Srsync --daemon --config=/etc/rsyncd.confnetstat -tnlp|grep :873

【6】执行命令同步数据

# 在目的机器上执行# rsync -avz 用户名@源主机地址/源目录 目的目录rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

【7】crontab定时同步

# 配置crontab， 每五分钟同步一次，这种方式不好*/5 * * * * rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

【温馨提示】crontab定时同步数据不太好，可以使用rsync+inotify做数据实时同步，这里篇幅有点长了，先不讲，如果后面有时间会出一篇单独文章来讲。

6）创建nfs provisioner和持久化存储SC

【温馨提示】这里跟我之前的文章有点不同，之前的方式也不适用新版本。

GitHub地址：

helm部署nfs-subdir-external-provisioner

1、添加helm仓库

helm repo add nfs-subdir-external-provisioner 

2、helm安装nfs provisioner

【温馨提示】默认镜像是无法访问的，这里使用dockerhub搜索到的镜像willdockerhub/nfs-subdir-external-provisioner:v4.0.2，还有就是StorageClass不分命名空间，所有在所有命名空间下都可以使用。

helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \  --namespace=nfs-provisioner \  --create-namespace \  --set image.repository=willdockerhub/nfs-subdir-external-provisioner \  --set image.tag=v4.0.2 \  --set replicaCount=2 \  --set storageClass.name=nfs-client \  --set storageClass.defaultClass=true \  --set nfs.server=192.168.0.120 \  --set nfs.path=/opt/nfsdata

【温馨提示】上面 nfs.server设置为VIP，可实现高可用。

3、查看

kubectl get pods,deploy,sc -n nfs-provisioner

7）部署 Harbor（Https方式）1、创建 Namespace

kubectl create ns harbor

2、创建证书秘钥

kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harborkubectl get secret myharbor.com -n harbor

3、添加 Chart 库

helm repo add harbor 

4、通过helm安装harbor

helm install myharbor --namespace harbor harbor/harbor \  --set expose.ingress.hosts.core=myharbor.com \  --set expose.ingress.hosts.notary=notary.myharbor.com \  --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \  --set expose.tls.secretName=myharbor.com \  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \  --set persistence.enabled=true \  --set externalURL= \  --set harborAdminPassword=Harbor12345

这里稍等一段时间在查看资源状态

kubectl get ingress,svc,pods,pvc -n harbor

5、ingress没有ADDRESS问题解决

【分析】，发现"error: endpoints “default-http-backend” not found"

cat << EOF > default-http-backend.yaml--- apiVersion: apps/v1kind: Deploymentmetadata:  name: default-http-backend  labels:    app: default-http-backend  namespace: harborspec:  replicas: 1  selector:    matchLabels:      app: default-http-backend  template:    metadata:      labels:        app: default-http-backend    spec:      terminationGracePeriodSeconds: 60      containers:      - name: default-http-backend        # Any image is permissible as long as:        # 1. It serves a 404 page at /        # 2. It serves 200 on a /healthz endpoint        image: registry.cn-hangzhou.aliyuncs.com/google_containers/defaultbackend:1.4#        image: gcr.io/google_containers/defaultbackend:1.4        livenessProbe:          httpGet:            path: /healthz            port: 8080            scheme: HTTP          initialDelaySeconds: 30          timeoutSeconds: 5        ports:        - containerPort: 8080        resources:          limits:            cpu: 10m            memory: 20Mi          requests:            cpu: 10m            memory: 20Mi--- apiVersion: v1kind: Servicemetadata:  name: default-http-backend  namespace: harbor  labels:    app: default-http-backendspec:  ports:  - port: 80    targetPort: 8080  selector:    app: default-http-backendEOFkubectl apply -f default-http-backend.yaml

6、卸载重新部署

# 卸载helm uninstall myharbor -n harborkubectl get pvc -n harbor| awk 'NR!=1{print $1}' | xargs kubectl delete pvc -n harbor# 部署helm install myharbor --namespace harbor harbor/harbor \  --set expose.ingress.hosts.core=myharbor.com \  --set expose.ingress.hosts.notary=notary.myharbor.com \  --set-string expose.ingress.annotations.'nginx\.org/client-max-body-size'="1024m" \  --set expose.tls.secretName=myharbor.com \  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client \  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client \  --set persistence.enabled=true \  --set externalURL= \  --set harborAdminPassword=Harbor12345

5、访问harbor

账号/密码：admin/Harbor12345

6、harbor常见操作【1】创建项目bigdata【2】配置私有仓库

在文件/etc/docker/daemon.json添加如下内容：

"insecure-registries":[";]

重启docker

systemctl restart docker

【3】服务器上登录harbor

docker login 账号/密码：admin/Harbor12345

【4】打标签并把镜像上传到harbor

docker tag rancher/pause:3.6 myharbor.com/bigdata/pause:3.6docker push myharbor.com/bigdata/pause:3.6

7、修改containerd配置

以前使用docker-engine的时候，只需要修改/etc/docker/daemon.json就行，但是新版的k8s已经使用containerd了，所以这里需要做相关配置，要不然containerd会失败。证书（ca.crt）可以在页面上下载：

创建域名目录

mkdir /etc/containerd/myharbor.comcp ca.crt /etc/containerd/myharbor.com/

配置文件：/etc/containerd/config.toml

[plugins."io.containerd.grpc.v1.cri".registry]      config_path = ""      [plugins."io.containerd.grpc.v1.cri".registry.auths]      [plugins."io.containerd.grpc.v1.cri".registry.configs]        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".tls]          ca_file = "/etc/containerd/myharbor.com/ca.crt"        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".auth]          username = "admin"          password = "Harbor12345"      [plugins."io.containerd.grpc.v1.cri".registry.headers]      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor.com"]          endpoint = [";]

重启containerd

#重新加载配置systemctl daemon-reload#重启containerdsystemctl restart containerd

简单使用

# 把docker换成crictl 就行，命令都差不多crictl pull myharbor.com/bigdata/mysql:5.7.38

执行crictl报如下错误的解决办法

WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]. As the default settings are now deprecated, you should set the endpoint instead.ERRO[0000] unable to determine image API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"

这个报错是docker的报错，这里没使用，所以这个错误不影响使用，但是还是解决好点，解决方法如下：

cat <<EOF> /etc/crictl.yaml runtime-endpoint: unix:///run/containerd/containerd.sockimage-endpoint: unix:///run/containerd/containerd.socktimeout: 10debug: falseEOF

再次拉取镜像

crictl pull myharbor.com/bigdata/mysql:5.7.38

Kubernetes（k8s）最新版最完整版基础环境部署+master高可用实现详细步骤就到这里了，有疑问的小伙伴欢迎给我留言哦~