前言:
现在同学们对“python爬虫案例”大概比较看重,同学们都想要知道一些“python爬虫案例”的相关知识。那么小编同时在网络上搜集了一些有关“python爬虫案例””的相关内容,希望看官们能喜欢,各位老铁们快快来学习一下吧!以下是一个简单的Python爬虫小案例,用于爬取某个网站的新闻标题和链接,并将结果保存到文本文件中:
```
import requests
from bs4 import BeautifulSoup
# 网站链接
url = ';
# 发送请求
response = requests.get(url)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取新闻标题和链接
news_list = []
for news in soup.find_all('div', class_='news-item'):
title = news.find('a').text.strip()
link = news.find('a')['href']
news_list.append((title, link))
# 将结果保存到文本文件
with open('news.txt', 'w', encoding='utf-8') as f:
for title, link in news_list:
f.write(f'{title}\t{link}\n')
```
说明:
1. 使用requests库发送GET请求获取网页内容。
2. 使用BeautifulSoup库解析HTML文档。
3. 使用find_all()方法查找所有class属性为'news-item'的div标签,然后分别从中获取新闻标题和链接。
4. 将结果保存到文本文件中,每条新闻标题和链接之间用制表符分隔,每条新闻之间用换行符分隔。
解语:
可以以此为基础进行拓展学习,提升自己的能力
快去试试吧[耶]
标签: #python爬虫案例