前言:
今天各位老铁们对“python txt转dataframe”大体比较关心,同学们都想要剖析一些“python txt转dataframe”的相关内容。那么小编在网络上收集了一些对于“python txt转dataframe””的相关内容,希望兄弟们能喜欢,各位老铁们快快来学习一下吧!前言:在我搭建好Jellyfin软件后,因为只能播放本地视频,就想能不能播放网络上的电影,可以每天自动下载并更新,这样就不用我手工下载好,再上传到NAS中播放。或许有更好的方法,那就是直接用电影播放源,那就有个问题了,没有那个视频网愿意给播放源,所以还是自己慢慢下载后再播放吧。个人对于python语言也是小白,在网络上寻找大神的脚本稍加修改得到的。
如果需要搭建jellyfin,请看我之前的博客-家庭影院Jellyfin搭建,linux网页视频播放器。
环境:centos7
工具:python3、jellyfin、shell脚本、aria2
1、安装python3
默认安装好centos7系统后,自带有python2.7.5的版本,所以需要安装python3的版本。2.7.5的版本不能删除,否则centos系统会崩溃。请从官网下载python3.8版本。
关于python2升级至python3,会有一些问题,但都能解决,请参考以下资料:
1)Centos7升级python2到python3
2)pbzip2: error while loading shared libraries: libbz2.so.1.0: cannot open shared object file
3)centos7安装python3及其配置pip(建立软连接)
2、编辑python脚本
命名脚本为movie.py,将以下复制到py脚本保存,执行python3 movie.py。查看爬取结果,是否生成文件。
脚本不是我编写的,是借鉴大神,然后根据电影天堂现在的地址和信息,做了一些改动,获取下载电影地址
# encoding: gbk# 我们用到的库import requestsimport bs4import reimport pandas as pddef get_data(url): ''' 功能:访问 url 的网页,获取网页内容并返回 参数: url :目标网页的 url 返回:目标网页的 html 内容 ''' headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', } try: r = requests.get(url, headers=headers) r.raise_for_status() r.encoding = 'gbk' return r.text except requests.HTTPError as e: print(e) print("HTTPError") except requests.RequestException as e: print(e) except: print("Unknown Error !")def parse_data(html): ''' 功能:提取 html 页面信息中的关键信息,并整合一个数组并返回 参数:html 根据 url 获取到的网页内容 返回:存储有 html 中提取出的关键信息的数组 ''' bsobj = bs4.BeautifulSoup(html,'html.parser') info = [] # 获取电影列表 tbList = bsobj.find_all('table', attrs = {'class': 'tbspan'}) # 对电影列表中的每一部电影单独处理 for item in tbList: movie = [] link = item.b.find_all('a')[0] # 获取电影的名称 name = link.string # 获取详情页面的 url url = '; + link["href"] # 将数据存放到电影信息列表里 movie.append(name) movie.append(url) try: # 访问电影的详情页面,查找电影下载的磁力链接 temp = bs4.BeautifulSoup(get_data(url),'html.parser') tbody = temp.find_all('a') print(tbody) #^magnet.*?fannouce # 下载链接有多个(也可能没有),这里将所有链接都放进来 for i in tbody: lines = i.get("href") if "magnet" in lines: #download = lines.a.text #print(lines) movie.append(lines) print(movie) # 将此电影的信息加入到电影列表中 info.append(movie) except Exception as e: print(e) return infodef save_data(data): ''' 功能:将 data 中的信息输出到文件中/或数据库中。 参数:data 将要保存的数据 ''' filename = 'C:/Users/Administrator/Desktop/movie.txt' dataframe = pd.DataFrame(data) dataframe.to_csv(filename, mode='a', index=False, sep=';', header=False)def main(): # 循环爬取多页数据 #for page in range(1, 114): # print('正在爬取:第' + str(page) + '页......') # 根据之前分析的 URL 的组成结构,构造新的 url #if page == 1: # index = 'index' #else: # index = 'index_' + str(page) # url = ';+ index +'.html' #url='; url='; # 依次调用网络请求函数,网页解析函数,数据存储函数,爬取并保存该页数据 html = get_data(url) movies = parse_data(html) save_data(movies) #print('第' + str(page) + '页完成!')if __name__ == '__main__': print('爬虫启动成功!') main() print('爬虫执行完毕!')
3、安装aria2
安装教程,请访问我的博客第一条,安装nextcloud里面有详细的安装aria2教程
4、编写aria2下载的shell脚本
#!/bin/bashcd /downloadscount=0#/root/shell/movie.txt,这个地址是movie.py执行后生成的下载地址,请根据你实际的地址填写route=/root/shell/movie.txtname=(`awk -F ";" '{print $1}' $route | cut -d '《' -f2|cut -d '》' -f1 | cut -d '/' -f1`)addr=(`awk -F ";" '{print $3}' $route`)nr=`awk '{print NR}' $route | tail -n1`prop=`awk -F ";" '{print $3}' $route | cut -d '&' -f2 | awk -F "." '{print $8}'`for ((i=0; i<=nr; i++))do let count++ echo "正在下载第$count个电影,《${name[$i]}》" sudo -u www nohup aria2c -o "${name[$i]}.${prop[$i]}" "${addr[$i]}" & echo "第$count个电影完成创建,转后台下载中" sleep 2donerm -rf /root/shell/movie.txt
5、测试
执行脚本,请注意先后顺序,先执行python3 movie.py。等待爬取下载电影地址完成后,执行sh movie.sh。
6、增加自动任务,添加到crontab
crontab -e中增加以下信息,获取这个方法不完善,但仍在改进
#每2天运行python脚本,获取电影天堂下载地址
20 1 */2 * * python3 /root/shell/movie.py
#每2天运行一次aria2下载电影
30 1 */2 * * sh /root/shell/movie.sh
7、使用jellyfin添加媒体库
在这里,把媒体库的自动扫描调整为每个小时都扫描一次,这样可以很快的增加到媒体库。
至此,已经完成了自动从电影网下载电影,并自动扫描到媒体库,就可以不用管了,每2天自动更新。写的脚本只下载了详情页的第一页,如果想下载很多页,请把主方法中的循环打开调整数字就可以了。
标签: #python txt转dataframe