龙空技术网

喜欢看漫画的小伙伴就不要错过啦,python批量爬取动漫免费看

嗨学python 143

前言:

此时咱们对“python爬取付费”大致比较珍视,小伙伴们都想要分析一些“python爬取付费”的相关知识。那么小编同时在网络上网罗了一些对于“python爬取付费””的相关内容,希望我们能喜欢,兄弟们快快来了解一下吧!

实现效果

运行环境

IDE VS2019Python3.7Chrome、ChromeDriverChrome和ChromeDriver的版本需要相互对应

先上代码,代码非常简短,包含空行也才50行,多亏了python强大的库

import osimport timeimport requestsfrom selenium import webdriverfrom lxml import etree​def getChapterUrl(url): headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36" } part_url = "" res = requests.get(url, headers=headers) html=res.content.decode() el = etree.HTML(html) li_list = el.xpath('//*[@id="chapter"]/div[2]/ol[1]/li') for li in li_list: for p in li.xpath("./p"): for span in p.xpath("./span[@class='works-chapter-item']"): item = {} list_title = span.xpath("./a/@title")[0].replace(' ', '').split(':') if list_title[1].startswith(('第', '序')): getChapterFile(part_url + span.xpath("./a/@href")[0], list_title[0],list_title[1])​def getChapterFile(url,path1,path2): #path = os.path.join(path) #漫画名称目录 path=os.path.join(path1) if not os.path.exists(path): os.mkdir(path) #章节目录 path=path+'\\'+path2 if not os.path.exists(path): os.mkdir(path) chrome=webdriver.Chrome() #"" chrome.get(url) time.sleep(4) imgs = chrome.find_elements_by_xpath("//div[@id='mainView']/ul[@id='comicContain']//img") for i in range(0, len(imgs)): js="document.getElementById('mainView').scrollTop="+str((i) * 1280) chrome.execute_script(js) time.sleep(3) print(imgs[i].get_attribute("src")) with open(path+'\\'+str(i)+'.png', 'wb') as f: f.write(requests.get(imgs[i].get_attribute("src")).content) chrome.close()  print('下载完成') ​if __name__ == '__main__': getChapterUrl('')

简单解释

输入一个漫画的url即可爬取该漫画所有的章节,由于是模拟用户爬取的,所以速度方面有点慢,我试了下爬取银魂前70章,用了1个半小时,代码中的sleep可以适当简短点已加快爬取的速度

付费的漫画是没有办法爬取的

标签: #python爬取付费