#头条创作挑战赛#

1 TCP/IP 协议栈1.1 TCP/IP 标准1.1.1 TCP/IP 介绍

Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议

TCP/IP是一个Protocol Stack，包括TCP、IP、UDP、ICMP、RIP、TELNET、FTP、SMTP、ARP等许多协议

最早发源于1969年美国国防部（缩写为DoD）的因特网的前身ARPA网项目，1983年1月1日，TCP/IP取代了旧的网络控制协议NCP，成为今天的互联网和局域网的基石和标准,由互联网工程任务组负责维护

国防高级研究计划局DARPA与（B BN技术公司）、斯坦福大学和伦敦大学学院签约，在多个硬件平台上开发协议的操作版本。 在协议开发过程中，数据包路由层的版本号从版本 1 进展到版本 4，后者于 1983 年安装在 ARPANET 中。它被称为互联网协议版本4（IPv4）作为协议，仍在互联网使用，连同其目前的继承，互联网协议版本6（IPv6）。

1.1.2 TCP/IP 分层

共定义了四层，和 OSI参考模型的分层有对应关系

RFC官方分为四层:

Application LayerTransport LayerInternet LayerLink Layer(media-access)

TCP/IP 应用层

1.1.3 TCP/IP 通信过程1.1.4 TCP/IP和OSI模型的比较

相同点

两者都是以协议栈的概念为基础协议栈中的协议彼此相互独立下层对上层提供服务

不同点

OSI是先有模型；TCP/IP是先有协议，后有模型OSI是国际标准，适用于各种协议栈；TCP/IP实际标准，只适用于TCP/IP网络层次数量不同1.2 transport 层

TCP和UDP

1.2.1 TCP Transmission Control Protocol1.2.1.1 TCP特性工作在传输层面向连接协议全双工协议半关闭错误检查将数据打包成段，排序确认机制数据恢复，重传流量控制，滑动窗口拥塞控制，慢启动和拥塞避免算法更多关于tcp的内核参数，可参看man 7 tcp1.2.1.2 TCP包头结构

TCP包头

源端口、目标端口：计算机上的进程要和其他进程通信是要通过计算机端口的，而一个计算机端口某个时刻只能被一个进程占用，所以通过指定源端口和目标端口，就可以知道是哪两个进程需要通信。源端口、目标端口是用16位表示的，可推算计算机的端口个数为2^16个,即65536序列号：表示本报文段所发送数据的第一个字节的编号。在TCP连接中所传送的字节流的每一个字节都会按顺序编号。由于序列号由32位表示，所以每2^32个字节，就会出现序列号回绕，再次从0 开始确认号：表示接收方期望收到发送方下一个报文段的第一个字节数据的编号。也就是告诉发送方：我希望你（指发送方）下次发送的数据的第一个字节数据的编号为此确认号数据偏移：表示TCP报文段的首部长度，共4位，由于TCP首部包含一个长度可变的选项部分，需要指定这个TCP报文段到底有多长。它指出 TCP 报文段的数据起始处距离 TCP 报文段的起始处有多远。该字段的单位是32位(即4个字节为计算单位），4位二进制最大表示15，所以数据偏移也就是TCP首部最大60字节URG：表示本报文段中发送的数据是否包含紧急数据。后面的紧急指针字段（urgent pointer）只有当URG=1时才有效ACK：表示是否前面确认号字段是否有效。只有当ACK=1时，前面的确认号字段才有效。TCP规定，连接建立后，ACK必须为1,带ACK标志的TCP报文段称为确认报文段PSH：提示接收端应用程序应该立即从TCP接收缓冲区中读走数据，为接收后续数据腾出空间。如果为1，则表示对方应当立即把数据提交给上层应用，而不是缓存起来，如果应用程序不将接收到的数据读走，就会一直停留在TCP接收缓冲区中RST：如果收到一个RST=1的报文，说明与主机的连接出现了严重错误（如主机崩溃），必须释放连接，然后再重新建立连接。或者说明上次发送给主机的数据有问题，主机拒绝响应，带RST标志的TCP报文段称为复位报文段SYN：在建立连接时使用，用来同步序号。当SYN=1，ACK=0时，表示这是一个请求建立连接的报文段；当SYN=1，ACK=1时，表示对方同意建立连接。SYN=1，说明这是一个请求建立连接或同意建立连接的报文。只有在前两次握手中SYN才置为1，带SYN标志的TCP报文段称为同步报文段FIN：表示通知对方本端要关闭连接了，标记数据是否发送完毕。如果FIN=1，即告诉对方：“我的数据已经发送完毕，你可以释放连接了”，带FIN标志的TCP报文段称为结束报文段窗口大小：表示现在允许对方发送的数据量，也就是告诉对方，从本报文段的确认号开始允许对方发送的数据量，达到此值，需要ACK确认后才能再继续传送后面数据，由Window size value *Window size scaling factor（此值在三次握手阶段TCP选项Window scale协商得到）得出此值校验和：提供额外的可靠性紧急指针：标记紧急数据在数据字段中的位置选项部分：其最大长度可根据TCP首部长度进行推算。TCP首部长度用4位表示，选项部分最长为：(2^4-1)*4-20=40字节

TCP包头常见选项：

最大报文段长度MSS（Maximum Segment Size），通常1460字节指明自己期望对方发送TCP报文段时那个数据字段的长度。比如：1460字节。数据字段的长度加上TCP首部的长度才等于整个TCP报文段的长度。MSS不宜设的太大也不宜设的太小。若选择太小，极端情况下，TCP报文段只含有1字节数据，在IP层传输的数据报的开销至少有40字节（包括TCP报文段的首部和IP数据报的首部）。这样，网络的利用率就不会超过1/41。若TCP报文段非常长，那么在IP层传输时就有可能要分解成多个短数据报片。在终点要把收到的各个短数据报片装配成原来的TCP报文段。当传输出错时还要进行重传，这些也都会使开销增大。因此MSS应尽可能大，只要在IP层传输时不需要再分片就行。在连接建立过程中，双方都把自己能够支持的MSS写入这一字段。 MSS只出现在SYN报文中。即：MSS出现在SYN=1的报文段中MTU和MSS值的关系：MTU=MSS+IP Header+TCP Header通信双方最终的MSS值=较小MTU-IP Header-TCP Header窗口扩大 Window Scale为了扩大窗口，由于TCP首部的窗口大小字段长度是16位，所以其表示的最大数是65535。但是随着时延和带宽比较大的通信产生（如卫星通信），需要更大的窗口来满足性能和吞吐率，所以产生了这个窗口扩大选项时间戳 Timestamps可以用来计算RTT(往返时间)，发送方发送TCP报文时，把当前的时间值放入时间戳字段，接收方收到后发送确认报文时，把这个时间戳字段的值复制到确认报文中，当发送方收到确认报文后即可计算出RTT。也可以用来防止回绕序号PAWS，也可以说可以用来区分相同序列号的不同报文。因为序列号用32为表示，每2^32个序列号就会产生回绕，那么使用时间戳字段就很容易区分相同序列号的不同报文1.2.1.3 TCP协议PORT

传输层通过port号，确定应用层协议，范围0-65535

IANA互联网数字分配机构负责域名，数字资源，协议分配

0-1023：系统端口或特权端口(仅管理员可用) ，众所周知，永久的分配给固定的系统应用使用，22/tcp(ssh), 80/tcp(http), 443/tcp(https)1024-49151：用户端口或注册端口，但要求并不严格，分配给程序注册为某应用使用，1433/tcp(SqlServer), 1521/tcp(oracle),3306/tcp(mysql),11211/tcp/udp (memcached)49152-65535：动态或私有端口，客户端随机使用端口，范围定义：/proc/sys/net/ipv4/ip_local_port_range

案例：调整客户端的动态端口范围

[root@nginx ~]# cat /proc/sys/net/ipv4/ip_local_port_range32768	60999[root@nginx ~]# [root@nginx ~]# echo 20000 62000 > /proc/sys/net/ipv4/ip_local_port_range[root@nginx ~]# cat /proc/sys/net/ipv4/ip_local_port_range20000	62000

案例：找到端口冲突的应用程序

[root@nginx ~]# nc -l 22Ncat: bind to :::22: Address already in use. QUITTING.[root@nginx ~]# ss -ntlpState      Recv-Q Send-Q             Local Address:Port                            Peer Address:Port              LISTEN     0      128                            *:22                                         *:*                   users:(("sshd",pid=872,fd=3))LISTEN     0      100                    127.0.0.1:25                                         *:*                   users:(("master",pid=1092,fd=13))LISTEN     0      128                           :::22                                        :::*                   users:(("sshd",pid=872,fd=4))LISTEN     0      100                          ::1:25                                        :::*                   users:(("master",pid=1092,fd=14))[root@nginx ~]# lsof -i :22COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAMEsshd     872 root    3u  IPv4  19485      0t0  TCP *:ssh (LISTEN)sshd     872 root    4u  IPv6  19494      0t0  TCP *:ssh (LISTEN)sshd    1079 root    3u  IPv4  20127      0t0  TCP nginx:ssh->192.168.223.1:13310 (ESTABLISHED)[root@nginx ~]#

案例：判断端口是否正在打开

[root@nginx ~]# < /dev/tcp/127.0.0.1/80-bash: connect: 拒绝连接-bash: /dev/tcp/127.0.0.1/80: 拒绝连接[root@nginx ~]# echo $?1[root@nginx ~]# < /dev/tcp/127.0.0.1/22[root@nginx ~]# echo $?0[root@nginx ~]#

TCP端口号通信过程

TCP序列和确认号

发送信息到接收信息的过程

1.2.1.4 三次握手和四次挥手

三次握手

TCP是面向连接的，无论哪一方向另一方发送数据之前，都必须先在双方之间建立一条连接；在TCP/IP协议中，TCP协议提供可靠的连接服务，连接是通过三次握手进行初始化的；三次握手的目的是同步连接双方的序列号和确认号并交换 TCP窗口大小信息；这就是面试中经常会被问到的TCP三次握手，只是了解TCP三次握手的概念，对你获得一份工作是没有任何帮助的，你需要去了解TCP三次握手中的一些细节；看图：

第一次握手：建立连接。客户端发送连接请求报文段，将SYN位置为1，Sequence Number为x；然后，客户端进入SYN_SEND状态，等待服务器的确认；第二次握手：服务器收到SYN报文段。服务器收到客户端的SYN报文段，需要对这个SYN报文段进行确认，设置Acknowledgment Number为x+1(Sequence Number+1)；同时，自己自己还要发送SYN请求信息，将SYN位置为1，Sequence Number为y；服务器端将上述所有信息放到一个报文段（即SYN+ACK报文段）中，一并发送给客户端，此时服务器进入SYN_RECV状态；第三次握手：客户端收到服务器的SYN+ACK报文段。然后将Acknowledgment Number设置为y+1，向服务器发送ACK报文段，这个报文段发送完毕以后，客户端和服务器端都进入ESTABLISHED状态，完成TCP三次握手。

完成了三次握手，客户端和服务器端就可以开始传送数据；以上就是TCP三次握手的总体介绍。

四次挥手

由于TCP连接是全双工（能同时接收发送。半双工：同一时间只能接收或者发送。单工：只能接收或者发送）的，因此每个方向都必须单独进行关闭。这个原则是当一方完成它的数据发送任务后就能发送一个FIN来终止这个方向的连接。收到一个 FIN只意味着这一方向上没有数据流动，一个TCP连接在收到一个FIN后仍能发送数据。首先进行关闭的一方将执行主动关闭，而另一方执行被动关闭。

TCP的连接的拆除需要发送四个包，因此称为四次挥手(four-way handshake)，客户端或服务器均可主动发起挥手动作；在socket编程中，任何一方执行close()操作即可产生挥手操作。

第一次挥手：主机1（可以是客户端，也可以是服务器端），设置Sequence Number和Acknowledgment Number，向主机2发送一个FIN报文段；此时，主机1进入FIN_WAIT_1状态；这表示主机1没有数据要发送给主机2了；第二次挥手：主机2收到了主机1发送的FIN报文段，向主机1回一个ACK报文段，Acknowledgment Number为Sequence Number加1；主机1进入FIN_WAIT_2状态；主机2告诉主机1，我“同意”你的关闭请求；第三次挥手：主机2向主机1发送FIN报文段，请求关闭连接，同时主机2进入LAST_ACK状态；第四次挥手：主机1收到主机2发送的FIN报文段，向主机2发送ACK报文段，然后主机1进入TIME_WAIT状态；主机2收到主机1的ACK报文段以后，就关闭连接；此时，主机1等待2MSL后依然没有收到回复，则证明主机2已正常关闭，那好，主机1也可以关闭连接了。1.2.1.5 有限状态机 FSM:Finite State Machine

虚线：服务器

实线：客户端

CLOSED 没有任何连接状态LISTEN 侦听状态，等待来自远方TCP端口的连接请求SYN-SENT 在发送连接请求后，等待对方确认SYN-RECEIVED 在收到和发送一个连接请求后，等待对方确认ESTABLISHED 代表传输连接建立，双方进入数据传送状态FIN-WAIT-1 主动关闭,主机已发送关闭连接请求，等待对方确认FIN-WAIT-2 主动关闭,主机已收到对方关闭传输连接确认，等待对方发送关闭传输连接请求TIME-WAIT 完成双向传输连接关闭，等待所有分组消失CLOSE-WAIT 被动关闭,收到对方发来的关闭连接请求，并已确认LAST-ACK 被动关闭,等待最后一个关闭传输连接确认，并等待所有分组消失CLOSING 双方同时尝试关闭传输连接，等待对方确认

客户端先发送一个FIN给服务端，自己进入FIN_WAIT_1状态，这时等待接收服务端报文，该报文会有三种可能：

只有服务端的ACK只有服务端的FIN基于服务端的ACK，又有FIN

1、只收到服务器的ACK，客户端会进入FIN_WAIT_2状态，后续当收到服务端的FIN时，回应发送一个ACK，会进入到TIME_WAIT状态，这个状态会持续2MSL(TCP报文段在网络中的最大生存时间, RFC1122标准的建议值是2min).客户端等待2MSL，是为了当最后一个ACK丢失时，可以再发送一次。因为服务端在等待超时后会再发送一个FIN给客户端，进而客户端知道ACK已丢失

2、只有服务端的FIN时，回应一个ACK给服务端，进入CLOSING状态，然后接收到服务端的ACK时，进入TIME_WAIT状态

3、同时收到服务端的ACK和FIN，直接进入TIME_WAIT状态

客户端的典型状态转移

客户端通过connect系统调用主动与服务器建立连接connect系统调用首先给服务器发送一个同步报文段，使连接转移到SYN_SENT状态；

此后connect系统调用可能因为如下两个原因失败返回：

1、如果connect连接的目标端口不存在（未被任何进程监听），或者该端口仍被处于TIME_WAIT状态的连接所占用，则服务器将给客户端发送一个复位报文段，connect调用失败。

2、如果目标端口存在，但connect在超时时间内未收到服务器的确认报文段，则connect调用失败。connect调用失败将使连接立即返回到初始的CLOSED状态。如果客户端成功收到服务器的同步报文段和确认，则connect调用成功返回，连接转移至ESTABLISHED状态

当客户端执行主动关闭时，它将向服务器发送一个结束报文段，同时连接进入FIN_WAIT_1状态。若此时客户端收到服务器专门用于确认目的的确认报文段，则连接转移至FIN_WAIT_2状态。当客户端处于FIN_WAIT_2状态时，服务器处于CLOSE_WAIT状态，这一对状态是可能发生半关闭的状态。此时如果服务器也关闭连接（发送结束报文段），则客户端将给予确认并进入TIME_WAIT状态

客户端从FIN_WAIT_1状态可能直接进入TIME_WAIT状态（不经过FIN_WAIT_2状态），前提是处于FIN_WAIT_1状态的服务器直接收到带确认信息的结束报文段（而不是先收到确认报文段，再收到结束报文段）；处于FIN_WAIT_2状态的客户端需要等待服务器发送结束报文段，才能转移至TIME_WAIT状态，否则它将一直停留在这个状态。如果不是为了在半关闭状态下继续接收数据，连接长时间地停留在FIN_WAIT_2状态并无益处。连接停留在FIN_WAIT_2状态的情况可能发生在：客户端执行半关闭后，未等服务器关闭连接就强行退出了。此时客户端连接由内核来接管，可称之为孤儿连接（和孤儿进程类似）

Linux为了防止孤儿连接长时间存留在内核中，定义了两个内核参数：

/proc/sys/net/ipv4/tcp_max_orphans #指定内核能接管的孤儿连接数目/proc/sys/net/ipv4/tcp_fin_timeout #指定孤儿连接在内核中生存的时间

客户机端的三次握手和四次挥手状态转换

服务器端的三次握手和四次挥手状态转换

1.2.1.6 sync半连接和accept全连接队列

/proc/sys/net/ipv4/tcp_max_syn_backlog    #未完成连接队列大小，默认值128,建议调整大小为1024以上/proc/sys/net/core/somaxconn      #完成连接队列大小，默认值128,建议调整大小为1024以上

异常网络状况下（开始出现超时或丢包），TCP控制数据传输以保证其承诺的可靠服务

TCP服务必须能够重传超时时间内未收到确认的TCP报文段。为此，TCP模块为每个TCP报文段都维护一个重传定时器，该定时器在TCP报文段第一次被发送时启动。如果超时时间内未收到接收方的应答，TCP模块将重传TCP报文段并重置定时器。至于下次重传的超时时间如何选择，以及最多执行多少次重传，就是TCP的重传策略与TCP超时重传相关的两个内核参数：

/proc/sys/net/ipv4/tcp_retries1 #指定在底层IP接管之前TCP最少执行的重传次数，默认值是3/proc/sys/net/ipv4/tcp_retries2 #指定连接放弃前TCP最多可以执行的重传次数，默认值15（一般对应13～30min）

当前所使用的拥塞控制算法 :/proc/sys/net/ipv4/tcp_congestion_control

1.2.1.9 内核TCP参数优化

参看帮助： man tcp

编辑文件/etc/sysctl.conf，加入以下内容：然后执行 sysctl -p 让参数生效。

net.ipv4.tcp_fin_timeout = 2

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_keepalive_time = 600

net.ipv4.ip_local_port_range = 2000 65000

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_max_tw_buckets = 36000

net.ipv4.route.gc_timeout = 100

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_max_orphans = 16384

net.core.somaxconn = 16384

net.core.netdev_max_backlog = 16384

作用说明：

net.ipv4.tcp_fin_timeout 表示套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间，默认值是60秒。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_fin_timeout 60net.ipv4.tcp_tw_reuse 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认值为0，表示关闭。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_tw_reuse 0net.ipv4.tcp_tw_recycle 表示开启TCP连接中TIME-WAIT sockets的快速回收。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_tw_recycle，默认为0，表示关闭。 提示：reuse和recycle这两个参数是为防止生产环境下Web、Squid等业务服务器time_wait网络状态数量过多设置的。net.ipv4.tcp_syncookies 表示开启SYN Cookies功能。当出现SYN等待队列溢出时，启用Cookies来处理，可防范少量SYN攻击，这个参数也可以不添加。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_syncookies,默认值为1net.ipv4.tcp_keepalive_time 表示当keepalive启用时，TCP发送keepalive消息的频度。默认是2小时，建议改为10分钟。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_keepalive_time,默认为7200秒。net.ipv4.ip_local_port_range 该选项用来设定允许系统打开的端口范围，即用于向外连接的端口范围。 该参数对应系统路径为：/proc/sys/net/ipv4/ip_local_port_range 32768 61000net.ipv4.tcp_max_syn_backlog 表示SYN队列的长度，即半连接队列长度，默认为1024，建议加大队列的长度为8192或更多，这样可以容纳更多等待连接的网络连接数。 该参数为服务器端用于记录那些尚未收到客户端确认信息的连接请求最大值。 该参数对象系统路径为：/proc/sys/net/ipv4/tcp_max_syn_backlognet.ipv4.tcp_max_tw_buckets 表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数值，TIME_WAIT套接字将立刻被清除并打印警告信息。 默认为180000，对于Apache、Nginx等服务器来说可以将其调低一点，如改为5000~30000，不通业务的服务器也可以给大一点，比如LVS、Squid。 此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_max_tw_bucketsnet.ipv4.tcp_synack_retries 参数的值决定了内核放弃连接之前发送SYN+ACK包的数量。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_synack_retries,默认值为5net.ipv4.tcp_syn_retries 表示在内核放弃建立连接之前发送SYN包的数量。 该参数对应系统路径为：/proc/sys/net/ipv4/tcp_syn_retries,默认值为6net.ipv4.tcp_max_orphans 用于设定系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。 如果超过这个数值，孤立连接将被立即被复位并打印出警告信息。 这个限制只有为了防止简单的DoS攻击。不能过分依靠这个限制甚至认为减少这个值，更多的情况是增加这个值。该参数对应系统路径为：/proc/sys/net/ipv4/tcp_max_orphans ，默认值8192net.core.somaxconn 同时发起的TCP的最大连接数，即全连接队列长度，在高并发请求中，可能会导致链接超时或重传，一般结合并发请求数来调大此值。 该参数对应系统路径为：/proc/sys/net/core/somaxconn ，默认值是128net.core.netdev_max_backlog 表示当每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许发送到队列的数据包最大数。 该参数对应系统路径为：/proc/sys/net/core/netdev_max_backlog，默认值为1000