本篇主要介绍爬取500彩票网，获取所有双色球的开奖结果，写入到csv文件。

(1) 分析标题

通过分析，发现标题信息在如下地方显示：

私信小编007即可获取小编精心准备的资料呢！如有需要源码请单独私信！

(2) 分析开奖号码

通过分析，发现开奖号码在如下地方显示：

(3) 分析往期开奖结果url

通过分析，发现网页是通过一个下拉菜单，选择相应的期号，会自动跳转对应的网站。

网站规律就是"期号"+.shtml

2、思路分析

先提取网页数据，用Beautiful Soup从网页抓取数据，然后通过正则表达式，提取想要的数据。

3、代码：

import requestsfrom bs4 import BeautifulSoupimport re#获取网页数据，伪装成浏览器def gethtml(url): headers = { "Use-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36" } req = requests.get(url,headers = headers) req.encoding = "GBK" html = req.text bf = BeautifulSoup(html, "html.parser") return bf#爬取标题def gettitle(html): titlehtml = html.find_all("td", class_="td_title01") titletxt = str(titlehtml).strip() p1 = r'shtml">(.*?)<f.*?<strong>(.*?)</strong>.*?</font>(.*?)</a>.*?right">(.*?)</span>' titles = re.compile(p1, re.S).findall(titletxt) qi = list(titles[0]) qi[2] = ('期') return ''.join(qi)#爬取红色球def getred(html): redhtml = html.find_all("li", class_="ball_red") redtxt = str(redhtml).strip() p1 = r'red">(.*?)</li>' reds = re.compile(p1, re.S).findall(redtxt) return '红球:' + ' '.join(reds)#爬取蓝色球def getbule(html): bulehtml = html.find_all("li", class_="ball_blue") buletxt = str(bulehtml).strip() p1 = r'blue">(.*?)</li>' bules = re.compile(p1, re.S).findall(buletxt) return '蓝球:' + ' '.join(bules)#获取所有urldef getlistnum(html): listnumhtml = html.find_all("span", class_="iSelectBox") p1 = r'href="(.*?)">' listnums = re.compile(p1, re.S).findall(str(listnumhtml)) return listnums[1:]url = ''def main(): html = gethtml(url) htmlurls = getlistnum(html) for htmlurl in htmlurls: ssqhtml = gethtml(htmlurl) a = gettitle(ssqhtml) b = getred(ssqhtml) c = getbule(ssqhtml) #写入txt文件 with open(r'D:\1.txt','a') as f: print(htmlurl) f.write(a + '\n'+ b + '\n'+ c + '\n') f.close()if __name__ == "__main__": main()

代码自行拿去用吧！输出文件：

到此结束！需要源码请后台私信小编即可哦！