使用的开源组件和版本

按照我写文章的调性，还是先列使用的技术和版本，如下：

python 3.8

selenium 3.141.0

背景和目标

python + selenium可以做很多的事情，最常见的就是扒取网上的信息了。我要做的商城正好需要模拟一些商品信息（造数据），但是商品不是特别容易模拟，涉及到图片、规格参数、详细介绍等，人工模拟根本不现实，所以就有了这篇文章的内容，目标我选择淘宝。

写代码第一步-先要对需求做一下分析，要明确以下两点：

1. 我要什么样的数据

简单来说我要的是一批商品数据，最好包括商品名称、价格、图片和详细介绍。考虑一下一般商城下的场景，对于商品，肯定首先要有分类，很可能分类不止一级，每个商品分类下才是具体某个商品，我们按照商品有两级分类先来设计一下相关的表结构（由于我的数据库是mongoDB,相关的表结构就直接用类json的形式表示了）

一级类目表

{category_name:"", category_label:""}

二级类目表

{second_cat_name, second_cat_abel, parent_category}

商品表

{

product_no, //商品唯一编号

product_name, //商品中文名

product_brand, //商品品牌

first_category, //一级分类

second_category, //二级分类

price, //商品价格

product_attrs: [] //商品规格参数

product_thumb_imgs: [] //商品缩略图

product_main_img: //商品主图

product_detail: //商品详细介绍

}

2.实现路径是什么样的

爬取网上的信息，其实只需要三步:

1. 控制浏览器打开一个窗口（driver）

2. 定位到某个元素 （location）

3. 获取这个元素的信息 （text）

看起来似乎挺简单（然而我搞了差不多一天），下面就详细介绍一下实现过程。

实现python对浏览器的控制

from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitbrowser = webdriver.Chrome(    executable_path="D:\CodeRepertories\python_projects\python_example\spider\drivers\chromedriver.exe")wait = WebDriverWait(browser, 15)browser.maximize_window()browser.get(';)

核心就是上面这段代码，当然首先你的python环境中需要先安装了selenium，并且chromedriver需要预先准备，下载地址如下：

根据你的浏览器版本下载就可以了。

读取商品类目

首先我在浏览器上F12分析了淘宝首页，首页内容看似比较像类目，但实际内容并不是那种一级下面包含二级，二级下面包含商品这种，淘宝首页更像是加工过的，类目已经被打散了，我找到了另一个有明显类目的地址，就是上面的地址：

这个其实是淘宝店铺搜索的页面

但是python控制打开这个页面时，淘宝自动重定向到了登录页面,额... 所以首先我们要过登录这一关，其实就是输入用户名密码（代码中我隐去了，不然泄露了...），点击登录就可以。然后才能打开目标页面

def fetch_product():    print('start...')    browser.get(';)    browser.find_element_by_id("fm-login-id").send_keys("<user_name>")    browser.find_element_by_id("fm-login-password").send_keys("<password>")    browser.find_element_by_css_selector(".fm-btn > button").click()    wait.until(        EC.presence_of_element_located((By.CSS_SELECTOR, '#shopsearchindex-hotcat'))    )    # category = browser.find_elements_by_css_selector("[class='cat-menswear level-one-cat-item']")    category = browser.find_elements_by_css_selector(".level-one-cat-item")    for subCategory in category:        # 获取一级类目的英文标识，作为name        class_name = subCategory.get_attribute("class").split(' ')[0]        category_label = subCategory.find_element_by_css_selector(".level-one-cat").text        # 打印一级类目        category = {}        category['category_name'] = class_name[4:len(class_name)]        category['category_label'] = category_label        print(category)

这里有两个要点，一个是定位元素，css_selector非常强大，基本相当于写html页面中的class的时候的形式，通过id，css-class类名，标签等均可，如下几个例子:

# 使用class定位browser.find_element_by_css_selector(".fm-btn > button").click()# 也可以像下面这样browser.find_elements_by_css_selector("[class='cat-menswear level-one-cat-item']")# 或者通过idbrowser.find_elements_by_css_selector("#J_AttrUL")

另一个是 wait.until 的使用，其实就是在当前页面等待，直到条件满足。一般是监控某一个元素出现。

读取商品二级类目下的商品

接下来就是读取二级类目了，接着上面的代码，subCategory已经包含了二级类目的名称，我们逐个获取就可以。

for secondLevel in subCategory.text.split('\n')[1:]:            # 打印二级类目            second_category = {}            second_category['second_cat_name'] = secondLevel            second_category['second_cat_abel'] = secondLevel            second_category['parent_category'] = class_name[4:len(class_name)]            print(second_category)            search_product_label(class_name[4:len(class_name)], secondLevel)

search_product_label方法就是通过二级类目获取类目下的商品了，我是通过将二级类目的中文描述放在首页上的搜索框内，触发搜索，然后在结果中找到对应的商品来实现的。

def search_product_label(first_category_name, second_category_label):    """    移动端，爬取淘宝商品的方式，二级类目作为关键词搜索相关商品    :param first_category_name: 一级类目的英文名    :param second_category_label: 二级类目的中文描述    :return: None    """    get_product_from_pc(first_category_name, second_category_label)def get_product_from_pc(first_category_name, second_category_label):    """    pc端，爬取淘宝商品的方式    :param first_category_name:    :param second_category_label:    :return:    """    browser.get(';)    input = wait.until(        EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))    )    submit = wait.until(        EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))    input.send_keys(second_category_label)    # 搜索关键字    submit.click()    wait.until(EC.visibility_of_any_elements_located((By.CSS_SELECTOR, "#mainsrp-itemlist")))    products_list = browser.find_elements_by_css_selector("[class='item J_MouserOnverReq  ']")    # 遍历商品列表每个商品打开一个新的窗口，获取其中的商品信息    for productItem in products_list:        try:            assemble_product(productItem)        except Exception as e:            print(e)        # 关闭当前窗口        browser.close()        browser.switch_to.window(browser.window_handles[0])def assemble_product(productItem):    product = {}    # print(productItem.text)    product['product_main_img'] = "https:" + productItem.find_element_by_css_selector(        ".pic-box-inner > div > a > img").get_attribute("src")    productItem.click()    browser.switch_to.window(browser.window_handles[-1])    # 先将页面滚动到底部，解决页面懒加载的时候元素没有出现的问题    browser.execute_script("window.scrollTo({top:1000,behavior: 'smooth'})")    wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "#J_DetailMeta")))    url_params_list = browser.current_url.split('?')[1].split('&')    # 截取商品唯一标识    for params in url_params_list:        if params.startswith('id='):            product['product_no'] = params.split('=')[1]    # 截取商品名称    product['product_name'] = browser.find_element_by_css_selector(".tb-detail-hd > h1").text    # 商品品牌    brand_element = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "#J_BrandAttr > div > b")))    product['product_brand'] = brand_element.text    # 获取商品属性    attr_elements = browser.find_elements_by_css_selector("#J_AttrUL > li")    attr_list = []    for attr_element in attr_elements:        attr_list.append(attr_element.text)    product['product_attrs'] = attr_list    # 获取商品价格    product['price'] = browser.find_element_by_css_selector(".tm-price-panel > dd > span").text    # 获取商品图片,缩略图，保存时保存原图，不同尺寸的图可以通过增加尺寸后缀显示    img_elements = browser.find_elements_by_css_selector("#J_UlThumb > li > a > img")    thumb_img_list = []    for img in img_elements:        thumb_img_list.append("https:" + img.get_attribute("src").split('jpg_')[0] + "jpg")    product['product_thumb_imgs'] = thumb_img_list    # 获取商品详细介绍    desc_elements = browser.find_elements_by_css_selector("#description > .content > p > img")    detail_imgs = []    for detail in desc_elements:        detail_imgs.append(detail.get_attribute("src"))    product['product_detail'] = detail_imgs    print(product)

代码比较长，其实都是因为我要定位到特定的元素，或者点击某一个元素，要处理成我要的数据格式。其中关注两个地方就可以：

1. 触发点击某一个商品后浏览器打开了新的标签页，所以需要控制浏览器进入到新的页面中，然后在新页面中读取完成后要关闭标签页

product['product_main_img'] = "https:" + productItem.find_element_by_css_selector(        ".pic-box-inner > div > a > img").get_attribute("src")    productItem.click()    # 控制跳转到新的标签页    browser.switch_to.window(browser.window_handles[-1])    .......    # 结束后关闭标签页并回到原来的列表页面    browser.close()    browser.switch_to.window(browser.window_handles[0])

browser.execute_script("window.scrollTo({top:1000,behavior: 'smooth'})")

这是控制浏览器向下滚动的，由于淘宝的懒加载机制，如果你的屏幕较小，打开页面时就只会展示一小段内容，下面的商品详情，品牌等信息根本没有加载，那么你的页面就会一直等待下去，直到超时!

（这里只是向下滚动了1000像素，实测下来大部分商品读取都没有问题了。但是其实并没有从根本上解决懒加载引起的问题，只能算是治标的方案，治本的，目前还没有头绪，我试了别的方式，比如直接滚动到底部，但是没有用，

直接滚动到底部，中间部分的内容其实仍未触发加载。）

然后就可以执行看结果了

if __name__ == "__main__":    fetch_product()

爬虫的部分就到这里了，其实还有最后一步是数据写入mongoDB，比较简单，这里就不写了，感兴趣的朋友可以看我之前的一篇文章。

如果觉得有用的话，可以抬手点个赞哦，后续还会有更多干货，欢迎关注。