设置访问域名的主机头突破服务器端限制

在某些情况下服务器可能禁止通过IP直接访问，或者与需要通特定的域名、主机头才能访问你需要访问的内容，但是此域名DNS还不没有解析，或者DNS解析的域名是多个IP，按不同地域解析到不同的地址，不同地址显示内容不一样，或者有访问控制，不能到你需要的IP，你需要让它解析成你需要的特定IP。

可能有些朋友会说那你直接设置hosts文件不就得了。回答正确。设置hosts确实可以（比如通过设置hosts访问一些国外网站啥的）。但是略嫌繁琐，其实上curl完全可以很便捷的自己设置。

在curl里通过设置Http头信息的主机头为你的域名，而将你URL中的域名改成你IP即可。

在较新版本的curl还支持一个--resolve的选项，可以直接用来指定对url的解析

注意语法格式。

设置POST表单实现web认证

curl支持多种http方法，当然post表单也是没有问题的，对于简单的post表单认证，我们可以直接用这种方法登陆认证，然后从系统获取有用的信息，或者写成小脚本做密码暴力破解，当然由于curl不支持多线程，所以也没有啥优势。

我简单说说用curl post提交表单的例子。

基本格式如下：

curl -d "user=name&pass=pass" 登陆URL

比如小编以自己机器上的itop（头条等网站登陆限制太多，没法用curl简单的实现）为例子显示下：

我们先用curl直接获取登陆页面的信息，用grep搜索input 然后就能找到用户名和密码所在的行，找到用户名表单名为auth_user ,密码的为auth_pwd。然后用这两个字段结合用户名密码构建表单，进行访问。

可以看到我们已经成功完成的认证，获取了认证后页面的信息。

保存cookie信息和调用cookie实现利用cookie获取信息

我们知道web中cookie中保存了我们的认证信息，这样当我们在此访问页面时候可以免去重复输入用户名密码的过程。

curl中 选项-D 文件名 ，就是表示把认证的cookie保存到命名的文件中去

cat cookie信息如下：

保存后cookie后下次访问就可以用 -b来调用cookie信息，不用输入用户名密码也就可以获得页面的内容了。

比如我们用-b调用上次保存的cookie信息，然后直接访问后台账号管理页面就直接出信息了。

然后我们试着不加载cookie文件再试一把，如下图

可见又跳回到登陆页面去了。

指定referer来欺骗服务器端放爬虫机制

有些服务器启动一定反爬错误，比如你没有通过前置页或者列表页的跳转，而直接去从内容页也获取信息。从访问日志可以判断你来源的referer地址是否为跳转页面，如果不是会限制你访问。这是常见Web防盗链机制。

为了对付这种限制，我们可以在curl里通过设定-e 用来指出referer地址：

这样，就能够头条服务器会认为我们是从首页通过链接访问到的。

利用curl进行文件上传

比如下面一个上传文件的表单：

<form method="POST" enctype='multipart/form-data' action="upload.php">

<input type=file name=upload>

<input type=submit name=press value="OK">

</form>

我们简单用：

curl --form upload=你本地的文件路径和名字 --form press=OK 网站Url，就能实现文件的上传。

利用curl用用户名密码通过sftp、scp下载远程用户目录下的文件；用MLSD命令获取远程ftp的文件列表

关于这个我们不多说，列出例子供大家参考。

curl -O -u user:password s

curl -O -u user:password scp://example.com/~/file.txt

注意c参数和以前说过的-O参数啥意思？还记得么？

我们知道ftp服务器都提供一个MLSD命令。通过FTP客户端发送MLSD命令，可以得到服务器端的文件信息：如文件创建时间，修改时间，文件大小及文件所有者。

我们对其用perl单行处理下获得，仅仅有文件的列表：

curl测试不安全的HTTP请求

最后我们说下如何用curl 获取服务器启用的HTTP请求方法，判断是否启用了补全的方法。命令如下：

除标准的GET和POST方法外，HTTP请求还使用其他各种方法。

包括PUT，DELETE，COPY，MOVE，SEARCH，PROPFIND，TRACE等，这些方法一般很少用的到，需要在服务器端限制访问。如果没有限制的话，吃瓜群众有可能利用他对你进行攻击哦。

curl -i -X 方法 测试的URL

curl -v -X 方法 测试的URL

查看响应的 Allow: GET, HEAD, POST, PUT, DELETE, OPTIONS信息来判读:

比如

表示PUT方法可以使用，不安全。

这种返回非 20X的基本都是OK的。

好了今天就结束这个文章撰写，如果你还有疑问或者其他趣方法，请给我留言一起学习。