前言:
现时看官们对“爬虫爬取豆瓣电影top250”大概比较关注,我们都需要了解一些“爬虫爬取豆瓣电影top250”的相关资讯。那么小编也在网络上搜集了一些关于“爬虫爬取豆瓣电影top250””的相关文章,希望朋友们能喜欢,各位老铁们一起来了解一下吧!网络爬虫指按照一定的规则(模拟人工登录网页的方式),自动抓取网络上的程序。简单的说,就是讲你上网所看到页面上的内容获取下来,并进行存储。网络爬虫的爬行策略分为深度优先和广度优先。如下图是深度优先的一种遍历方式是A到B到D 到E 到C到 F(ABDECF)而宽度优先的遍历方式ABCDEF 。
一、环境准备1.1 requests和beautifulsoup4库的安装
pip install requests
pip install beautifulsoup4
1.2 requests的使用
requests库的函数
1.2.1 requests.get()函数
get()是获取网页最常用的方式,在调用requests.get(url)函数后,返回的网页内容会保存为一个Response 对象,其中,get()函数的参数url 必须链接采用HTTP 或HTTPS方式访问
import requests as rt
my_url=";
my_data=rt.get(my_url)
print(type(my_data))
1.3 beautifulsoup4
(1)使用方法soup.<tab>方法.
(2)find_all()方法
(3)Select()方法
1.4爬取豆瓣top250
<li>
<div class="item">
<div class="pic">
<em class="">1</em>
<a href=";>
<img alt="肖申克的救赎" class="" src="; width="100"/>
</a>
</div>
<div class="info">
<div class="hd">
<a class="" href=";>
<span class="title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
<span class="other"> / 月黑高飞(港) / 刺激1995(台)</span>
</a>
<span class="playable">[可播放]</span>
</div>
<div class="bd">
<p class="">
导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /...<br/>
1994 / 美国 / 犯罪 剧情
</p>
<div class="star">
<span class="rating5-t"></span>
<span class="rating_num" property="v:average">9.7</span>
<span content="10.0" property="v:best"></span>
<span>1674127人评价</span>
</div>
<p class="quote">
<span class="inq">希望让人自由。</span>
</p>
</div>
</div>
</div>
</li>
<li>
方法一:利用find_all
(1)详细代码,爬取前25个排名电影
import requests as rt
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
my_url=r";filter="
my_data = rt.get(my_url, headers=headers, timeout=30)
my_data.encoding="utf-8" #解决中文乱码问题
from bs4 import BeautifulSoup as bs
soup=bs(my_data.text,"html.parser")
x1=soup.find_all("li")
for i in x1:
if i.find('em')!= None:
print(i.find('em').text,end=" ")
print(i.find('span', class_='title').text,end=" ")
print(i.find('span', class_='rating_num').text, end=" ")
print(i.find('span', class_='inq').text, end=" ")
print()
(2)详细代码,爬取前250个排名电影(添加循环访问)
import requests as rt
from bs4 import BeautifulSoup as bs
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
x2=range(0,250,25)
for my_n in x2:
my_url=r";+str(my_n)+r"&filter="
my_data = rt.get(my_url, headers=headers, timeout=30)
my_data.encoding="utf-8" #解决中文乱码问题
soup=bs(my_data.text,"html.parser")
x1=soup.find_all("li")
for i in x1:
if i.find('em')!= None:
try:
print(i.find('em').text,end=" ")
print(i.find('span', class_='title').text,end=" ")
print(i.find('span', class_='rating_num').text, end=" ")
print(i.find('span', class_='inq').text, end=" ")
except:
pass
print()
你学会了吗?明天介绍其他的方法。
标签: #爬虫爬取豆瓣电影top250