龙空技术网

基于Linux自己初步搭建Kubernetes(k8s)集群基础,详细教程

运维笔记ywbj 2925

前言:

如今同学们对“nginx集群部署”大体比较看重,兄弟们都想要知道一些“nginx集群部署”的相关资讯。那么小编在网摘上搜集了一些对于“nginx集群部署””的相关知识,希望兄弟们能喜欢,朋友们一起来了解一下吧!

一:搭建基础环境

k8s官方网站:,可自行查看相关文档说明

k8s-master:Ubuntu--192.168.152.100

k8s-node01:Ubuntu--192.168.152.101

k8s-node02:Ubuntu--192.168.152.102

二:前置条件设置

全部已安装docker,未安装可根据官方文档安装:

1,禁止swap分区

K8s的要求,确保禁止掉swap分区,不禁止,初始化会报错。

在每个宿主机上执行:

sudo swapoff -a#修改/etc/fstab,注释掉swap那行,持久化生效sudo vi /etc/fstab

2,确保时区和时间正确

时区设置

sudo timedatectl set-timezone Asia/Shanghai#同时使系统日志时间戳也立即生效sudo systemctl restart rsyslog

3,关闭防火墙和selinux

ubuntu 查看防火墙命令,ufw status可查看状态,ubuntu20.04默认全部关闭,无需设置。

4,主机名和hosts设置(可选)

非必须,但是为了直观方便管理,建议设置。

在宿主机分别设置主机名:k8s-master,k8s-node01,k8s-node02

sudo vim /etc/hostname

hosts设置

sudo vim /etc/hosts#添加内容192.168.152.100 k8s-master192.168.152.101 k8s-node01192.168.152.102 k8s-node02

三:安装组件

1,更改docker默认驱动为systemd

为防止初始化出现一系列的错误,请检查docker和kubectl驱动是否一致,否则kubectl没法启动造成报错。版本不一样,docker有些为cgroupfs,而kubectl默认驱动为systemd,所以需要更改docker驱动。

可查看自己docker驱动命令:

sudo docker info|grep Driver

更改docker驱动,编辑 /etc/docker/daemon.json (没有就新建一个),添加如下启动项参数即可:

#编辑创建文件sudo vim /etc/docker/daemon.json#添加内容{"exec-opts": ["native.cgroupdriver=systemd"]}

重启docker

sudo systemctl restart docker.service

需要在每台机器上安装以下的软件包:

2,更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包

安装软件包以允许apt通过HTTPS使用存储库,已安装软件的可以忽略

sudo apt-get updatesudo apt-get install -y apt-transport-https ca-certificates curl

3,下载公开签名秘钥、并添加k8s库

国外 :下载 Google Cloud 公开签名秘钥:

curl -s  | sudo apt-key addsudo apt-add-repository "deb  kubernetes-xenial main"

国内:可以用阿里源即可:

curl -s  | sudo apt-key add -sudo tee /etc/apt/sources.list.d/kubernetes.list <<EOFdeb  kubernetes-xenial mainEOF

请注意,在命令中,使用的是Ubuntu 16.04 Xenial 版本, 是可用的最新 Kubernetes 存储库。所以而非20.04 的focal。

4,更新 apt 包索引,安装 kubelet、kubeadm 和 kubectl,并锁定其版本

锁定版本,防止出现不兼容情况,例如,1.7.0 版本的 kubelet 可以完全兼容 1.8.0 版本的 API 服务器,反之则不可以。

kubeadm:用来初始化集群的指令。 kubelet:在集群中的每个节点上用来启动 Pod 和容器等。 kubectl:用来与集群通信的命令行工具。

sudo apt-get updatesudo apt-get install -y kubelet kubeadm kubectlsudo apt-mark hold kubelet kubeadm kubectl

四:初始化主节点master

只需要在master上操作即可。

kubeadm init --apiserver-advertise-address=192.168.152.100 --pod-network-cidr=172.16.0.0/16
apiserver-advertise-address:定义API服务器将公布其监听内容的IP地址。如果未设置,将使用默认网络接口。 pod-network-cidr:指定Pod网络的IP地址范围。如果设置,控制平面将自动为每个节点分配CIDR。 如果您的网络插件的首选Pod网络与某些主机网络之间发生冲突,则可以使用它来定义首选的网络范围

1,初始化错误解决(没有报错的可以跳过这条)

错误提示1:

[kubelet-check] It seems like the kubelet isn't running or healthy.[kubelet-check] The HTTP call equal to 'curl -sSL ; failed with error: Get ";: dial tcp 127.0.0.1:10248: connect: connection refused.

原因:kubectl没法启动,journalctl -xe查看启动错误信息。

journalctl -xe#信息显示docker和kubectel驱动不一致kubelet cgroup driver: \"systemd\" is different from docker cgroup driver: \"cgroupfs\""

解决方案:k8s建议systemd驱动,所以更改docker驱动即可,编辑 /etc/docker/daemon.json (没有就新建一个),添加如下启动项参数即可:

#编辑创建文件sudo vim /etc/docker/daemon.json#添加内容{"exec-opts": ["native.cgroupdriver=systemd"]}

重启docker和kubectel

#重启dockersudo systemctl restart docker.service#重载kubectlsudo systemctl daemon-reload#重启kubectlsudo systemctl restart kubelet.service#查看kubectl服务状态恢复正常sudo systemctl status kubelet.service

错误提示2:

error execution phase preflight: [preflight] Some fatal errors occurred:[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists[ERROR FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml already exists[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

原因:初始化生产的文件,重新初始化,需要删除即可

rm -fr /etc/kubernetes/manifests/*

错误提示3:

error execution phase preflight: [preflight] Some fatal errors occurred:[ERROR Port-10250]: Port 10250 is in use

解决方法:重置配置

sudo kubeadm reset

2,初始化完成

无报错,最后出现以下,表示初始化完成,根据提示还需要操作。

[addons] Applied essential addon: CoreDNS[addons] Applied essential addon: kube-proxyYour Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: you can join any number of worker nodes by running the following on each as root:kubeadm join 192.168.152.100:6443 --token tojkw9.v4nageqhftd7v2vc \--discovery-token-ca-cert-hash sha256:6a5b372144d6cc2a12f8e41853554549f1290e665381f48fdd92bbf92de7b884

根据用户是root或者普通用户操作,由于大多环境不会是root用户,我也是普通用户,所以选择普通用户操作命令:

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

如果是root用户,执行以下命令:

export KUBECONFIG=/etc/kubernetes/admin.conf

初始化完成,用最后的提示命令kubeadm join....在node机器上加入集群即可。

3,主节点pod网络设置

主节点支持网络插件:

这里安装Calico网络插件:

Calico官网提供三种安装方式,1)低于50个节点,2)高于50个节点,3)etcd datastore(官方不建议此方法)。

这里选择第一种:

curl  -Okubectl apply -f calico.yaml

安装完成后,kubectl get node 可查看节点状态,由NotReady变成Ready则正常,需要等几分钟完成。

#未安装网络插件ubuntu@k8s-master:~$ kubectl get nodeNAME STATUS ROLES AGE VERSIONk8s-master NotReady control-plane,master 80m v1.22.3#已安装网络插件ubuntu@k8s-master:~$ kubectl get nodeNAME STATUS ROLES AGE VERSIONk8s-master Ready control-plane,master 83m v1.22.3

五:加入node节点

1,node加入master节点

在所有node节点机器操作,统一已安装完成 kubelet、kubeadm 和 kubectl,用master初始化完成后最后提示命令加入,切记要用root用户。

kubeadm join 192.168.152.100:6443 --token tojkw9.v4nageqhftd7v2vc \--discovery-token-ca-cert-hash sha256:6a5b372144d6cc2a12f8e41853554549f1290e665381f48fdd92bbf92de7b884

加入成功后,提示如下:

[preflight] Running pre-flight checks[preflight] Reading configuration from the cluster...[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -o yaml'[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"[kubelet-start] Starting the kubelet[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...This node has joined the cluster:* Certificate signing request was sent to apiserver and a response was received.* The Kubelet was informed of the new secure connection details.Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

再次查看kubelet服务已正常启动。

2,需注意的坑

1:加入主节点,需要root用户执行词条命令,才可以加入master主节点。

node在没有加入主节点master之前,kubelet服务是没法启动的,是正常情况,会报错如下:

"Failed to load kubelet config file" err="failed to load Kubelet config file /var/lib/kubelet/config.yaml,error failed to read kubelet config file \"/var/lib/kubelet/config.yaml,error: open /var/lib/kubelet/config.yaml: no such file or directory" path="/var/lib/kubelet/config.yaml"

原因是缺失文件,主节点master初始化 `kubeadm init`生成。

node节点是不需要初始化的,所以只需要用root用户`kubeadm join`加入master即可生成。

2:如果加入提示某些文件已存在,如:

[ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists

原因是加入过主节点,即使没成功加入,文件也会创建,所以需要重置节点,重新加入即可,重置命令:

kubeadm reset

3,在master查看节点

加入完成后,在master节点kubectl get node可查看已加入的所有节点:

ubuntu@k8s-master:~$ kubectl get nodeNAME STATUS ROLES AGE VERSIONk8s-master Ready control-plane,master 16h v1.22.3k8s-node01 Ready <none> 24m v1.22.3k8s-node02 Ready <none> 6m54s v1.22.3

这里k8s集群创建完成,下一步使用可参考我的下一篇文章:k8s初步熟悉使用介绍,实践搭建nginx集群

标签: #nginx集群部署