龙空技术网

改段字就能查询任意书籍销量,31行代码爬取京东书籍畅销榜

小城测评 215

前言:

如今朋友们对“书籍验证码在哪”大致比较关心,小伙伴们都需要了解一些“书籍验证码在哪”的相关资讯。那么小编同时在网上搜集了一些关于“书籍验证码在哪””的相关内容,希望咱们能喜欢,兄弟们一起来学习一下吧!

Selenium库

前面,我们分析的都是简单的网页直接加载所得的结果。也就是说,通过requests库请求的网页数据都是存在的。

但是,现实并不总是如此,有很多大型的网站其网页的数据都是通过javascript执行后获取的,如果需要常规处理爬虫,我们需要分析JavaScript代码。

但即使你分析出来了,也可能有大量的数据是经过加密处理的,有时候很难找到解析的规律,这个时候想要抓取数据,就必须等待浏览器加载完成之后获取。

而要得到所见即所得的网页数据,就必须等待浏览器加载完成,这个时候,只要加载完成,不管其使用了多么复杂的反爬虫技术,都不会影响爬取的结果。

而这个库就是:Selenium库,它能模拟浏览器进行网页的加载与生成,也就是所见即所得。老规矩,使用之前必须安装该库:

pip install selenium

不过,仅仅有selenium库是不能运行程序的,因为selenium库使用了WebDriver接口,比如我们后续都使用Chrome浏览器,那么你需要下载chromedriver,下载链接如下:

在这个链接中,找到对应系统,对于Chrome浏览器版本的chromedriver进行下载。下载完成之后,建议开发中配置其到PATH开发环境之中,这样不管项目在哪里都可以运行。

如果你没有配置环境变量,那么将文件放在项目目录也就可以运行,后面会讲解不配置环境也可以哪里都可以运行的方式,这里先略过。

基本用法

既然,我们Selenium库的运行环境已经完全配置成功。下面,我们来实现一个最基本的用法,也就是打开淘宝,并自动搜索不二家棒棒糖,示例如下:

from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ectry:    browser = webdriver.Chrome('./chromedriver')    browser.get(";)    input = browser.find_element_by_id('key')    input.send_keys("不二家棒棒糖")    input.send_keys(Keys.ENTER)    wait = WebDriverWait(browser, 5)    wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))    print(browser.title)    print(browser.current_url)    print(browser.page_source)    browser.close()except Exception as e:    print(e)    browser.close()

运行之后,效果如下:

这里,我们通过文件位置指定,设置了chromedriver,这也就是不配置环境的办法。不过,这是在项目目录,你不写默认也可以运行。而其他的,我们通过browser.get()加载网页,通过find_element_by_id()发现标签,通过send_keys()填入标签内容,通过send_keys(Keys.ENTER)模拟按下回车键搜索。至于其他的后续有详细的介绍。

查找节点

在基本用法中,我们通过find_element_by_id()方法进行查找节点,但是find具有很多的方法,我们先来看一张图:

可以看到,我们可以通过class,id,xpath,tag_name等查找节点的内容,而且具有相同标签或者class等节点的还提供了elements以及element的2种方式。

elements获取所有集合列表,element获取一个标签,如果多个标签相同,获取第一个标签。

查找单个节点

下面,我们来分别使用这些方法,查找节点。首先,我们使用element方法查找单个节点,示例代码如下所示:

from selenium import webdriverfrom selenium.webdriver.common.by import Bytry:    browser = webdriver.Chrome('./chromedriver')    browser.get(";)    # 通过id查找单个元素    input = browser.find_element_by_id('key')    # 通过class查找单个元素    moblie = browser.find_element_by_class_name('mobile_txt')    print(moblie.text)    # 通过class查找单个元素    xpath = browser.find_element_by_xpath('//*[@id="shortcutServiceButton"]')    print(xpath.text)    # 通过name查找单个元素    meta = browser.find_element_by_name('Keywords')    print(meta.get_attribute('content'))    div = browser.find_element_by_tag_name('div')    print(div.text)    # 通过class查找单个元素通用方式    moblie = browser.find_element(By.CLASS_NAME, 'mobile_txt')    print(moblie.text)    browser.close()except Exception as e:    print(e)    browser.close()

这里,我们使用京东网页进行测试获取单个元素。运行之后,效果如下:

需要额外注意最后一个通用方法:find_element。它前面是指定你根据什么规则去找,后面是这个规则的字符串。

查找多个节点

Selenium库的element()的每个方法,都对应着一个elements()方法。而elements()方法就是用于查找多个节点的方式。示例如下:

from selenium import webdriverfrom selenium.webdriver.common.by import Bytry:    browser = webdriver.Chrome('./chromedriver')    browser.get(";)    divs = browser.find_elements_by_tag_name('div')    i = 0    for div in divs:        if i == 5:            break        print(div.text)        i += 1    moblies = browser.find_elements(By.CLASS_NAME, 'mobile_txt')    for moblie in moblies:        print(moblie.text)    browser.close()except Exception as e:    print(e)    browser.close()

这里,我们只通过2个方法举例,其他的方法都是直接在element后面加个s即可。因为elements()方法获取的都是元素列表,所以可以进行一个个的遍历处理。

运行之后,效果如下:

节点交互

在前面的基础用法中,我们通过Selenium库实现了自动搜索等功能。这也是Selenium库最大的优点,它可以与节点交互,模拟人的操作。

比如,输入文本框,点击按钮,点击链接等等,都属于交互范畴。Selenium库都完全支持。这里,我们从京东主页进入家用电器板块,代码如下:

browser = webdriver.Chrome('./chromedriver')browser.get(";)a = browser.find_element_by_class_name('cate_menu_lk')a.click()

其click()方法,就是模拟用户进行点击操作。因为这是个超链接点击之后就会跳转,这里不展示,感兴趣的读者可以自己测试。

动作链

在实际的爬虫程序中,我们往往并不是只用于跳转链接,获取搜索而已。更多的时候,我们的动作是连续的。

比如我要模拟一个手机下单,首先需要进入手机购买界面,选择购买的型号,点击购买的链接,然后付款,这是一个完整的动作链。

Selenium库中,这些动作链的实现需要创建ActionChains对象,并通过ActionChains类的若干方法向浏览器发送一个或多个动作。

现在,我们来实现一个有趣的动作链,刚刚前面不是点击手机链接吗?现在,我们不点击链接,只将这个二级导航一个一个的展开。示例代码如下所示:

from selenium import webdriverfrom selenium.webdriver import ActionChainsimport timebrowser = webdriver.Chrome('./chromedriver')browser.get(";)actions=ActionChains(browser)lis=browser.find_elements_by_css_selector('.cate_menu_item')for li in lis:    actions.move_to_element(li).perform()    time.sleep(2)

运行之后,效果如下:

其动作链还有很多其他的操作方式,比如拖动操作使用的是drag_and_drop(),双击double_click()等,这些一个一个讲太多,使用方式与这个差不多,所以跳过。

执行Javascript代码

说句不好的爬虫使用方式,那就是刷新浏览量。而很多网页并不将打开网站视作浏览量的增加,而是你浏览了或者停留了一段时间才增加浏览量,这个时候怎么办?

我们可以自己定义一个Javascript代码,将页面缓慢滑动,或者说直接滑动到底部,示例代码如下所示:

from selenium import webdriverbrowser = webdriver.Chrome('./chromedriver')browser.get(";)browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')

在Selenium库中,我们使用execute_script执行Javascript代码,这里的意思是滑动到网页的底部。同样的你可以通过execute_async_script()方法alert一个弹出框。

获取节点信息

节点信息都是一些简单的数据,这里小编用一个表格专门列出来这些数据如果获取调用,如下表所示:

属性/方法

意义

text

获取标签文本

id

获取标签id

tag_name

获取标签名称

size

获取节点的尺寸

location

获取节点相对于页面的绝对坐标

get_attribute('属性名')

获取节点属性

这些都是一些简单的方法,这里就不演示了,不过有一个节点需要注意,它就是location,在我们识别验证码的时候,往往用它进行定位然后截图。当然,其也可以应用于移动元素锁定位置。

管理Cookie

其实,我们使用Selenium库用的最多的就是其辅助登录,要知道现在验证码千奇百怪,有的需要手机验证码才能登录,有的需要滑动模块登录,但博主相信,以后肯定是二维码登录为主。

比如,博主写过一个抢购茅台的脚本,就需要开始辅助验证码登录之后,开始抢购。登录之后,我们主要用于获取Cookie,下面,我们来模拟京东登录,并获取Cookie,示例如下:

from selenium import webdriverimport timebrowser = webdriver.Chrome('./chromedriver')browser.get(";)login_button = browser.find_element_by_class_name('user_login')login_button.click()time.sleep(10)print(browser.get_cookies())browser.delete_all_cookies()print(browser.get_cookies())

运行之后,效果如下:

可以看到,我们通过get_cookies获取登录后的cookie,通过delete_all_cookies删除cookie值。如果你有现成的cookie,可以通过add_cookie方法进行设置。

改变节点的属性

这里,我们来做一个有趣的实验。比如百度中间有一个百度一下的按钮,我们这里试着将其移动位置。示例如下:

from selenium import webdriverimport timebrowser = webdriver.Chrome('./chromedriver')browser.get(";)login_button = browser.find_element_by_id('su')x = [50, 90, 150, 180]y = [100, 200, 250, 60]for i in range(len(x)):    js_code='''        arguments[0].style.position="absolute"        arguments[0].style.left="{}px"        arguments[0].style.top="{}px"    '''.format(x[i],y[i])    browser.execute_script(js_code,login_button)    time.sleep(2)

按钮会在设置的x,y区间每2秒动一次。感兴趣的读者可以自己运行观察一下。

实战:抓取京东最畅销的编程书籍

初始步骤很简单,就与开头基础用法一样,搜索编程书籍然后跳转。不过,后面的内容才是真正的爬虫问题,这里我们先来看看帮当书籍在哪里,如下图所示:

可以看到我们的每个书籍订单都是在ul之中,不过,这里只是默认的搜索编程书籍出来的结果,我们需要的是销量排行,所以这里需要再次点击销量后,在获取。

完整的代码如下所示:

from selenium import webdriverimport timefrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ectry:    browser = webdriver.Chrome('./chromedriver')    browser.get(";)    search_edit = browser.find_element_by_id('key')    search_edit.send_keys("编程书籍")    search_edit.send_keys(Keys.ENTER)    wait = WebDriverWait(browser, 5)    wait.until(ec.presence_of_all_elements_located((By.ID, 'J_selector')))    time.sleep(5)    sales_volume = browser.find_element_by_css_selector('#J_filter > div.f-line.top > div.f-sort > a:nth-child(2)')    print(sales_volume.text)    sales_volume.click()    time.sleep(5)    wait.until(ec.presence_of_all_elements_located((By.CLASS_NAME, 'tab-content-item')))    div = browser.find_element_by_id('J_goodsList')    ul = div.find_element_by_tag_name('ul')    lis = ul.find_elements_by_tag_name('li')    for li in lis:        title = li.find_element_by_class_name('p-name').find_element_by_tag_name('a')        commit = li.find_element_by_class_name('p-commit').find_element_by_tag_name('a')        price = li.find_element_by_class_name('p-price').find_element_by_tag_name('i')        print("书籍名称:", title.get_attribute('title'))        print("书籍销量:", commit.text)        print("书籍购买:", ";+title.get_attribute('href'))        print("书籍价格:", price.text)        print()    browser.close()except Exception as e:    print(e)    browser.close()

运行之后,效果如下:

标签: #书籍验证码在哪 #书籍验证码在哪里输入