python这门语言可以说是十分火爆。对于新人而言这门语言确实是十分的友好。有大量的第三方库可以帮助我们少掉很多头发。当然这既是优点也是缺点。如果想要更了解计算机的逻辑那么c语言要更好。对于实用为目的的我来说python简直不要太友好。

我要分享的是我对python爬虫的方向发展的研究。首先从爬虫大小来分类：

最小的网页爬虫：对于我而言这类爬虫能解决我实际生活中百分之90的问题。

我做的一个最简单爬取猫猫图片的爬虫

scrapy框架爬虫：用于整站式爬取。爬虫的爬取的范围更大。这也是个人能用到的最强的爬虫了。

超级爬虫：类似于百度搜索引擎也是大众印象中的爬虫。这类爬虫只能是定制开发多人合作才能成功。

相信大家都看见了标题。python爬虫只是python众多应用的一小部分。而爬虫的学习我以网页爬虫为例来告诉大家需要学习哪些知识。

爬虫的爬对象的网页。那么我们就要学习css选择器是如何定位的。可能还需要xpath，正则表达式的帮助。还有学会js解密，异步加载。常见的反爬虫手段。比如禁ip，headers（请求头），cookies。是如何解决的。

看上去也不是很多的样子。但其实里面要学习的东西都很多。我们要解决这些问题的关键在于我们要使用第三方库。每个库都有自己的语法。比如说解析库的语法加上xpath语法或者正则的语法。都需要熟练掌握加以配合python语言的语法和自带的库。这个道理就像数学的每个知识点都是学习过的。但是一考试就不会写了。

对于一个新手来说可能在网上查资料解决报错问题的时间要远大于敲代码的时间。但是随着代码量的上升。对python语言的理解的提高。做出网页爬虫并不会十分困难。

假如你看到这里就真的很喜欢你了。说了这么多的困难。还是要讲一下学习python爬虫你能收获什么。首先就是解决自己的喜好。就我的认知而言只要是出现在你网页上甚至是app上的内容都是可以爬到手的。什么图片，视频，音频都没有问题。第二假如你技术足够强的话可以拿这个来给自己带来收入。第三在学习爬虫过程中你还能学习到很多网络技术。将来学习其他内容将会帮助到你。

这是一篇开坑之做。接下来我还会有详细的技术内容的文章发布的。