「http代理」Python-Scrapy 代码样例（二）

快代理 06-24 102

前言：

今天看官们对“pythonscapy解析http”大致比较注重，看官们都需要分析一些“pythonscapy解析http”的相关内容。那么小编同时在网摘上搜集了一些有关“pythonscapy解析http””的相关知识，希望朋友们能喜欢，小伙伴们一起来学习一下吧！

http代理使用提示

1.http/https 网页均可适用

2.scrapy 不是 python 原生库，需要安装才能使用: pip install scrapy

3.在第一级 tutorial目录下运行如下命令查看结果：scrapy crawl kdl

kdl_spider.py

编写爬虫（Spider）：在 tutorial/spiders/ 目录下新建 kdl_spider.py 文件

#!/usr/bin/env python

# -- coding: utf-8 --

import scrapy

class KdlSpider(scrapy.spiders.Spider):

name = "kdl"

def start_requests(self):

url = ";

yield scrapy.Request(url, callback=self.parse)

def parse(self, response):

print(response.text)

# 如scrapy报ssl异常"('SSL routines', 'ssl3_get_record', 'wrong version number')", 您可以尝试打开以下代码来解决

# from OpenSSL import SSL

# from scrapy.core.downloader.contextfactory import ScrapyClientContextFactory

# init = ScrapyClientContextFactory.__init__

# def init2(self, *args, **kwargs):

# init(self, *args, **kwargs)

# self.method = SSL.SSLv23_METHOD

# ScrapyClientContextFactory.__init__ = init2