使用k8s时，一直好奇不同主机上的pod是如何通信的。近期研究了下使用flannel 插件时，不同主机上pod间的通信流程。本文首先直接给出了pod间通信的框架，然后到pod所在主机上查看网络设置或抓包的方式，验证pod间的通信框架，加深对其理解

k8s环境

操作系统：centos7，k8s version:1.16.3， master节点数：3， node 节点数：10

部署2副本的nginx pod位于不同的主机：apaas-node0008, apaas-node0009

[root@apaas-master0001 ~]# kubectl -n demo get pods -o wideNAME                                READY   STATUS    RESTARTS   AGE   IP            NODE             NOMINATED NODE   READINESS GATESnginx-deployment-574b87c764-b7hlb   1/1     Running   0          26h   10.7.5.166    apaas-node0009   <none>           <none>nginx-deployment-574b87c764-d8598   1/1     Running   0          26h   10.7.12.147   apaas-node0008   <none>           <none>

在apaas-node0009 nginx pod 上ping 另一个nginx pod ip 10.7.12.147，会经历哪些千奇百怪？

不同主机pod间通信框架

不同主机pod间通信框架

直接上图，看下不同主机上pod间的通信流程。通过图中标号，可以知道请求处理过程。我们把apaas-node0009 nginx pod称为nginx1，apaas-node0008 nginx pod称为nginx2。nginx1 ping nginx2，

请求通过pod eth0发送请求数据给apaas-node0009上cni0网桥，apaas-node0009上cni0网桥转发数据给flannel网卡apaas-node0009上flannel网卡转发数据到主机eth0apaas-node0009上eth0转发数据到主机apaas-node0008上eth0apaas-node0008上eth0转发数据到flannel网卡apaas-node0008上flannel网卡转发数据到cni0网桥apaas-node0008上cni0网桥转发数据到nginx2nginx2处理请求后，响应数据原路返回

下面我看下pod间通信为什么有这样的通信流程

pod到cni0

每个pod有自己的network namespace，因此不同pod间网络是隔离的，一个pod请求另一个pod时需要使用veth。veth是linux的一种虚拟网络设备，它有点类似于中间用一条网线连着的两张网卡，veth总是成对出现。pod中eth0是veth的一端，在pod的network namespace，veth的另一端连着cni0。我们到主机apaas-node0009上，查看下nginx1使用的veth

pod到cni0

到nginx1 查看eth0配置即veth在pod中的一端，link-netnsid 0是指veth的另一端在0号network namespace也就是默认namespace中，网卡号901。

root@nginx-deployment-574b87c764-b7hlb:/# ip link1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:003: eth0@if901: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default     link/ether 3e:59:0d:fa:77:4e brd ff:ff:ff:ff:ff:ff link-netnsid 0

我们在主机上ip link查看901号网卡，可见它连接的是network namespace id为22(link-netnsid 22)的3号(@if3)网卡。并且901号网卡veth3612ad0c已经连接cni0

[root@apaas-node0009 netns]# ip link | grep -A 1 901 901: veth3612ad0c@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default     link/ether 8a:4e:22:fe:fc:0c brd ff:ff:ff:ff:ff:ff link-netnsid 22[root@apaas-node0009 ~]# brctl show bridge name     bridge id               STP enabled     interfacescni0            8000.0a5be3643b1b       no              veth019c1d69                                                        veth09f5c388                                                        veth0e701f29                                                        veth3500eca2                                                        veth3612ad0c

通过network namespace id 22 获取 namespace名称。注意docker 创建的 namespace 需要软链后才能查到，获得此id对应的namespace名称为4aaf726e8c00

[root@apaas-node0009 netns]# ln -s /var/run/docker/netns/ /var/run/netns[root@apaas-node0009 netns]# ip netns list| grep 224aaf726e8c00 (id: 22)

查看4aaf726e8c00的网络设置，正是nginx1的网络配置

[root@apaas-node0009 netns]# ip netns exec 4aaf726e8c00 ip link1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:003: eth0@if901: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default     link/ether 3e:59:0d:fa:77:4e brd ff:ff:ff:ff:ff:ff link-netnsid 0

可见，nginx1发送的ping请求数据可以从pod发送到cni0

cni0到flannel

cni0(ip 10.7.5.1)如何转发数据到10.7.12.147？ip route(删除部分无用输出)查看路由，可知会通过10.7.5.0转发

[root@apaas-node0009 ~]# ip routedefault via 10.65.154.1 dev eth0  10.7.5.0/24 dev cni0 proto kernel scope link src 10.7.5.1 10.7.12.0/24 via 10.7.12.0 dev flannel.1 onlink 10.65.154.0/24 dev eth0 proto kernel scope link src 10.65.154.19 

而10.7.5.0正是flannel.1

[root@apaas-node0009 ~]# ifconfig flannel.1flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450        inet 10.7.5.0  netmask 255.255.255.255  broadcast 0.0.0.0        inet6 fe80::6cd5:a3ff:fecb:6a6b  prefixlen 64  scopeid 0x20<link>        ether 6e:d5:a3:cb:6a:6b  txqueuelen 0  (Ethernet)

cni0到flannel

flannel到eth0

首先了解下flannel的基础知识

使集群中的不同Node主机创建的Docker容器都具有全集群唯一的虚拟IP地址。建立一个覆盖网络（overlay network），通过这个覆盖网络，将数据包原封不动地传递到目标容器。覆盖网络是建立在另一个网络之上并由其基础设施支持的虚拟网络。覆盖网络通过将一个分组封装在另一个分组内来将网络服务与底层基础设施分离。在将封装的数据包转发到端点后，将其解封装。创建一个新的虚拟网卡flannel.1接收k8s网桥的数据，通过维护路由表，对接收到的数据进行封包和转发。etcd保证了所有node上flanned所看到的配置是一致的。同时每个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化

我们使用的flannel覆盖网络类型是什么呢？ip -d link查看是vxlan

[root@apaas-node0009 ~]# ip -d link show | grep -A 3 flannel4: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default     link/ether 6e:d5:a3:cb:6a:6b brd ff:ff:ff:ff:ff:ff promiscuity 0     vxlan id 1 local 10.65.154.19 dev eth0 srcport 0 0 dstport 8472 nolearning ageing 300 noudpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

vxlan转发数据到10.7.12.147，请求包需要发往 10.7.12.0，而10.7.12.0只是apaas-node0008主机上flannel.1地址，如何从apaas-node0009主机上flannel.1发送数据到apaas-node0008主机上flannel.1，vxlan会解决此问题。vxlan查看10.7.12.0 MAC地址

[root@apaas-node0009 ~]# ip neigh show dev flannel.1 | grep 10.7.12.010.7.12.0 lladdr 92:40:07:4d:bf:cc PERMANENT

通过10.7.12.0 MAC地址获取此flannel.1所在node即apaas-node0008 ip10.65.154.18

[root@apaas-node0009 ~]# bridge fdb show dev flannel.1 | grep 92:40:07:4d:bf:cc92:40:07:4d:bf:cc dst 10.65.154.18 self permanent

发送到10.7.12.147的数据可以udp封装从apaas-node0009 eth0发送到apaas-node0008 eth0

flannel到eth0

发送请求的UDP数据包格式如下

vxlan封装

eth0到flannel

apaas-node0008 eth0接收到vxlan数据包，发现是vxlan包，将其拆包后转发给节点上的flannel网卡。

eth0到flannel

在apaas-node0008上，我们使用tcpdump抓包，查看数据转发流程。

tcpdump查看eth0，可见发送到10.65.154.18的vxlan数据包解包后，会发送到 92:40:07:4d:bf:cc flannel.1解析处理。6e:d5:a3:cb:6a:6b正是apaas-node0009上flannel.1MAC地址

[root@apaas-node0008 ~]# tcpdump -nn -s0 -v -e -i eth0 host 10.65.154.1909:40:03.559490 fe:fc:fe:62:bf:27 > fe:fc:fe:6b:4f:b1, ethertype IPv4 (0x0800), length 148: (tos 0x0, ttl 64, id 11760, offset 0, flags [none], proto UDP (17), length 134)    10.65.154.19.22383 > 10.65.154.18.8472: OTV, flags [I] (0x08), overlay 0, instance 16e:d5:a3:cb:6a:6b > 92:40:07:4d:bf:cc, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 62721, offset 0, flags [DF], proto ICMP (1), length 84)    10.7.5.166 > 10.7.12.147: ICMP echo request, id 425, seq 2042, length 6409:40:03.559603 fe:fc:fe:6b:4f:b1 > fe:fc:fe:62:bf:27, ethertype IPv4 (0x0800), length 148: (tos 0x0, ttl 64, id 17816, offset 0, flags [none], proto UDP (17), length 134)    10.65.154.18.37684 > 10.65.154.19.8472: OTV, flags [I] (0x08), overlay 0, instance 192:40:07:4d:bf:cc > 6e:d5:a3:cb:6a:6b, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 11416, offset 0, flags [none], proto ICMP (1), length 84)    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 425, seq 2042, length 64

tcpdump查看flanne.1，也可以看到数据是从apaas-node0009上flannel.1发送到apaas-node0008上flannel.1。即使用flannel，nginx1和nginx2 互相访问时，不需要关心它们是否处于不同主机

[root@apaas-node0008 ~]# tcpdump -n -s0 -v -p -e host 10.7.12.147 -i flannel.1tcpdump: listening on flannel.1, link-type EN10MB (Ethernet), capture size 262144 bytes09:01:42.621483 6e:d5:a3:cb:6a:6b > 92:40:07:4d:bf:cc, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 42740, offset 0, flags [DF], proto ICMP (1), length 84)    10.7.5.166 > 10.7.12.147: ICMP echo request, id 419, seq 2595, length 6409:01:42.621540 92:40:07:4d:bf:cc > 6e:d5:a3:cb:6a:6b, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 8070, offset 0, flags [none], proto ICMP (1), length 84)    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 419, seq 2595, length 64[root@apaas-node0008 ~]# ip neigh show | grep 6e:d5:a3:cb:6a:6b10.7.5.0 dev flannel.1 lladdr 6e:d5:a3:cb:6a:6b PERMANENT[root@apaas-node0008 ~]# ifconfig flannel.1flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450        inet 10.7.12.0  netmask 255.255.255.255  broadcast 0.0.0.0        inet6 fe80::9040:7ff:fe4d:bfcc  prefixlen 64  scopeid 0x20<link>        ether 92:40:07:4d:bf:cc  txqueuelen 0  (Ethernet)

flannel到cni

flannel.1接收到数据，目的地址为10.7.12.147，flannel.1查找自己的路由表，要通过cni0发送

[root@apaas-node0008 ~]# routeKernel IP routing tableDestination     Gateway         Genmask         Flags Metric Ref    Use Ifacedefault         gateway         0.0.0.0         UG    0      0        0 eth010.7.0.0        10.7.0.0        255.255.255.0   UG    0      0        0 flannel.110.7.12.0       0.0.0.0         255.255.255.0   U     0      0        0 cni010.65.154.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0link-local      0.0.0.0         255.255.0.0     U     1002   0        0 eth0172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0

tcpdump查看cni0，可以看到数据，最终发送到了nginx2 eth0。登录nginx2 查看eth0 MAC da:f9:cc:94:45:0a，正是cni0转发的MAC地址：42:5f:42:fe:8e:c7 > da:f9:cc:94:45:0a

[root@apaas-node0008 ~]# tcpdump -n -s0 -v -p -e host 10.7.12.147 -i cni0tcpdump: listening on cni0, link-type EN10MB (Ethernet), capture size 262144 bytes08:59:26.611470 42:5f:42:fe:8e:c7 > da:f9:cc:94:45:0a, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 62, id 33929, offset 0, flags [DF], proto ICMP (1), length 84)    10.7.5.166 > 10.7.12.147: ICMP echo request, id 419, seq 2459, length 6408:59:26.611513 da:f9:cc:94:45:0a > 42:5f:42:fe:8e:c7, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 3712, offset 0, flags [none], proto ICMP (1), length 84)    10.7.12.147 > 10.7.5.166: ICMP echo reply, id 419, seq 2459, length 64[root@apaas-node0008 ~]# ifconfig cni0cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450        inet 10.7.12.1  netmask 255.255.255.0  broadcast 0.0.0.0        inet6 fe80::405f:42ff:fefe:8ec7  prefixlen 64  scopeid 0x20<link>        ether 42:5f:42:fe:8e:c7  txqueuelen 1000  (Ethernet)root@nginx-deployment-574b87c764-d8598:/# ifconfigeth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450        inet 10.7.12.147  netmask 255.255.255.0  broadcast 0.0.0.0        ether da:f9:cc:94:45:0a  txqueuelen 0  (Ethernet)

至此从nginx1 发送数据已经成功到达nginx2 ，nginx2 响应数据如何返回，不再赘述。