又到了同一时刻，今天分享关于http报文及相关应用的实现原理

大多WEB开发从业人员在快速学习WEB开发时往往注重实际应用，而忽略去了解WEB的一些底层知识和原理，这也是WEB开发进阶时产生一些瓶颈的原因，接下来我将从几个点介绍，注意小标题哦

很多网络技术专业的童鞋都学过互联网的7层模型，在粗略的看过7层模型后，其实最关心的还是应用层的一些内容，如果你对7层模型感兴趣可以再百度一下，以下我只以应用层为主要讲解。大家都知道，HTTP是一种协议，它基于tcp，更简单的来讲，其实可以这么描述，HTTP是基于TCP通讯的一种数据格式，从客户端发出请求的报文，就是我们WEB对应开发中的request获得的内容，request header也就是报文的头信息，如果你试用chrome的话，f12一下，应该不会陌生，请求头信息是由浏览器帮我们完成的，大致包含内容为，我要请求你，请求你的什么目录（也就是什么内容），我的浏览器是什么版本(user agent)，我上个访问页面是什么地址，我的cookie现在是什么等等，然后WEB服务端就可以通过解析报文了解到这些信息（当然信息可以伪造）,在进行反馈。反馈内容也要是标准的报文，前面是头信息，就是response header输出的头信息，输出头信息也会包含几个必要的内容，我要传输给你的内容(消息的body)是什么格式，html utf-8还是json,还是文件，我是否使用压缩等等，然后浏览器就根据返回的头信息，正确的接收body并展现，比如发现访问的是文件，就跳出下载框，返回的是html就按html进行解析。

这就是最基础的http报文内容，而我接下来要说的，是报文在高级应用开发中会用到的高级用法。

1.1 cookie ，通过报文，我们可以告诉客户端配置操作cookie来实现服务端的session功能，其原理就是上述的报文中传递实现的，那么，为了防止基于简单浏览器的cookie篡改，我们其实可以自定义response header ，不用cookie这个名字存，结合WEB前端，将一些隐秘的数据通过报文的头信息去传递，这将有效的抵挡一些简单的攻击。

1.2 压缩，apache 和 nginx都有组件可以开启gzip压缩功能，这个也是html的标准内容，开启报文的压缩功能，那省的不是一点点的流量，对于流量高的网站来说，这一点至关重要

1.3 爬虫程序是难免要用到的东西，在模拟浏览器环境抓取网络数据的操作中，目前无非2种选择。1，使用无头浏览器，即不需要渲染的浏览器，在完整渲染html css js等操作后，通过JS注入方式，访问DOM节点，来提取需要的数据，这种方案可以在任何场景下使用，WEB服务端无法分辨你是否为爬虫，因为你用的真的是浏览器，所以很难屏蔽，但是也有办法，必须通过IP访问频率，访问页面的数量，规律也可以杜绝被抓取，但是基本很难处理，但是无头浏览器的缺点也是很明显，抓取效率低下，无头浏览器毕竟不是大厂出品，有时候渲染页面也不一定正确。2.curl简单点说，就是控制报文去请求HTTP服务器，然后自己通过其他html解析的类库去提取，这种方法，抓取报文速度极快，不是特殊数据，通过一般的正则表达可以直接提取，当然也可以用类似jquery的服务端类去提取，这种方法难度在于报文的处理，因为开发者可能想尽办法通过设置头信息，上一个访问页面，单IP抓取速度等等做一些小记录去屏蔽机器爬取行为，所以经常要修改报文请求头信息去维护爬取项目。

1.4 自定义的TCP服务。讲了这么多，其实也就讲的http的报文而已，了解了报文，那么我们是不是自己可以定义协议？比如，我公司的软件是C/S+B/S的，而B/S相关的一些页面信息，我不希望别人通过80可以访问，那么我就可以创一种协议。我们可以创建基于TCP的socket服务，自定义交互的端口号，而报文方面，也就是数据包，格式可以自己定义，甚至于压缩技术，加密技术都可以是自定义，且特殊的，客户端通过这个特定的协议走数据，然后还原出来，在用软件内部的浏览器渲染。这样在软件层面极大的增加了安全性，而对于WEB开发而言，并无区别。