Python爬虫基本思路

txt:

1, open('文件名','读写模式')， f = open('csdn.txt','w', encodeing='utf-8')

2，f.write()

3，f.close()

MySQL:

1. 打开数据库连接 db= pymysql.connect('服务器地址'，'账号'， '密码'，'数据库名', '编码方式')

2. 调用cursor方法获得操作游标cursor=db.cursor

3. 写SQL语句sql = ''

4. 执行SQL语句, cursor.execute(sql)

5. 提交到数据库执行 ，db.commit()

6. 关闭数据库， db.close()

xlwt:

1,创建book，sheet对象, 添加头：

book=xlwt.Workbook('encodeing=utf-8')

sheet=book.add_sheet('职位简介')

sheet.write(行，列，值）

2,写入

sheet.write(行，列， 值）

3,保存

book.save('文件名.xls')

MongoDB:

创建数据库的连接客户端

self.client = pymongo.MongoClient(localhost)

根据客户端对象，连接数据库

self.db = self.client[数据库名]

插入一条数据

db['表名'].insert_one(data)

MongoDB备注：

insert_one: 覆盖式的

更新的方法：

参数1：指定根据什么字段去数据库中进行查询，字段的值。

参数2：如果经过参数1的查询，查询到这条数据，执行更新的操作；反之，执行插入的操作；$set是一个固定的写法。

参数3：是否允许更新

db['article'].update_one({'info': data['info']}, {'$set': data}, True)