龙空技术网

零基础学会网络爬虫:电影排名

物联网与人工智能编程 514

前言:

现时看官们对“爬虫爬取豆瓣电影top250”大概比较关注,我们都需要了解一些“爬虫爬取豆瓣电影top250”的相关资讯。那么小编也在网络上搜集了一些关于“爬虫爬取豆瓣电影top250””的相关文章,希望朋友们能喜欢,各位老铁们一起来了解一下吧!

网络爬虫指按照一定的规则(模拟人工登录网页的方式),自动抓取网络上的程序。简单的说,就是讲你上网所看到页面上的内容获取下来,并进行存储。网络爬虫的爬行策略分为深度优先和广度优先。如下图是深度优先的一种遍历方式是A到B到D 到E 到C到 F(ABDECF)而宽度优先的遍历方式ABCDEF 。

一、环境准备1.1 requests和beautifulsoup4库的安装

pip install requests

pip install beautifulsoup4

1.2 requests的使用

requests库的函数


requests库的函数


1.2.1 requests.get()函数

get()是获取网页最常用的方式,在调用requests.get(url)函数后,返回的网页内容会保存为一个Response 对象,其中,get()函数的参数url 必须链接采用HTTP 或HTTPS方式访问

import requests as rt

my_url=";

my_data=rt.get(my_url)

print(type(my_data))

Response 对象的属性

1.3 beautifulsoup4

(1)使用方法soup.<tab>方法.

(2)find_all()方法

(3)Select()方法

1.4爬取豆瓣top250

<li>

<div class="item">

<div class="pic">

<em class="">1</em>

<a href=";>

<img alt="肖申克的救赎" class="" src="; width="100"/>

</a>

</div>

<div class="info">

<div class="hd">

<a class="" href=";>

<span class="title">肖申克的救赎</span>

<span class="title"> / The Shawshank Redemption</span>

<span class="other"> / 月黑高飞(港) / 刺激1995(台)</span>

</a>

<span class="playable">[可播放]</span>

</div>

<div class="bd">

<p class="">

导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /...<br/>

1994 / 美国 / 犯罪 剧情

</p>

<div class="star">

<span class="rating5-t"></span>

<span class="rating_num" property="v:average">9.7</span>

<span content="10.0" property="v:best"></span>

<span>1674127人评价</span>

</div>

<p class="quote">

<span class="inq">希望让人自由。</span>

</p>

</div>

</div>

</div>

</li>

<li>

方法一:利用find_all

(1)详细代码,爬取前25个排名电影

import requests as rt
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
my_url=r";filter="
my_data = rt.get(my_url, headers=headers, timeout=30)
my_data.encoding="utf-8" #解决中文乱码问题


from bs4 import BeautifulSoup as bs
soup=bs(my_data.text,"html.parser")
x1=soup.find_all("li")
for i in x1:
if i.find('em')!= None:
print(i.find('em').text,end=" ")
print(i.find('span', class_='title').text,end=" ")
print(i.find('span', class_='rating_num').text, end=" ")
print(i.find('span', class_='inq').text, end=" ")
print()


排名电影


(2)详细代码,爬取前250个排名电影(添加循环访问)

import requests as rt
from bs4 import BeautifulSoup as bs
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
x2=range(0,250,25)
for my_n in x2:
my_url=r";+str(my_n)+r"&filter="
my_data = rt.get(my_url, headers=headers, timeout=30)
my_data.encoding="utf-8" #解决中文乱码问题


soup=bs(my_data.text,"html.parser")
x1=soup.find_all("li")
for i in x1:
if i.find('em')!= None:
try:
print(i.find('em').text,end=" ")
print(i.find('span', class_='title').text,end=" ")
print(i.find('span', class_='rating_num').text, end=" ")
print(i.find('span', class_='inq').text, end=" ")
except:
pass
print()


排名电影



你学会了吗?明天介绍其他的方法。

标签: #爬虫爬取豆瓣电影top250