龙空技术网

哪个明星在抖音最火?用Python分析1分钟出结果,原来是TA

编程叫兽 131

前言:

而今同学们对“python视频谁讲的好”大约比较注意,大家都想要剖析一些“python视频谁讲的好”的相关内容。那么小编在网络上搜集了一些对于“python视频谁讲的好””的相关资讯,希望姐妹们能喜欢,各位老铁们一起来学习一下吧!

最近刷抖音看到各种排行榜数据可视化视频,作为一个技术人员觉得这是一种很有意思的数据呈现方式,所以在网上搜了一下资料,发现抖音就有非常适合数据可视化的榜单——明星榜,这个榜单每周发布一次,这次通过这个榜单数据可视化来看抖音最火的明星究竟是谁。

目的

爬取抖音明星榜数据数据可视化展示抖音最火的明星

注意:顺便提醒大家:很多人学Python过程中会遇到各种烦恼问题,没有人解答容易放弃。为此我建了个python学习资源群里面有最新学习资料,如果你想学python,可以关注我,后台私信我 ‘py’ 自动获取最新python教程资料!还有老司机解答哦!

准备工作1. 抖音数据抓取

使用抓包工具Fiddler分析出要抓取抖音数据的请求路径和url,具体使用方式网上有很多,我参考的是下面这个地址 Fiddler使用方式

具体步骤基本如下:

安装Fiddler配置代理手机与电脑同网络且使用电脑做代理手机访问抖音,Fiddler截取数据获取数据后本地分析需要的数据2. 数据可视化工具

使用开源工具 Historical-ranking-data-visualization-based-on-d3.js 实现动态效果展示,下载后直接可以使用。

具体步骤基本如下:

配置后config.json,具体的配置项项目中描述的较为清楚,需要自己逐个试验如有必要,可修改stylesheet.css控制样式,修改visual.js控制数据,需要自己去阅读代码构造csv数据打开bargraph.html,选中构造好的数据即可数据可视化处理实战

通过Fiddler获取信息后,分析出需要两个接口来获取数据,获取每期的数据时,需要先获取到每期的唯一id,分析后具体操作如下

1. 获取所有周期中,每个周期的唯一标识

# api:  get_weekly():    """    通过抓包工具,获取明星势力榜的所有统计周期    :return:    """    billboard_weekly_list = []    url = ";    result = requests.get(url)    if result.status_code == 200:        data = result.json()        if data.get('status_code') == 0:            billboard_weekly_list = data.get('billboard_weekly_list', [])    return billboard_weekly_list复制代码
2. 获取每个周期的数据接口
def get_star_billboard(edition_uid):    """    :param edition_uid: weekly id 通过接口获取    :return:    """    url = f"{edition_uid}"    result = requests.get(url)    if result.status_code == 200:        return result.json()    else:        return {}复制代码
3. 将抓取的数据按照数据可视化方式构建数据通过mako生成配置文件config.js[主要是包含头像等信息]生成数据可视化所需要的csv文件,这里生成一个所有数据累加,一个每周排行,并计算每个明星总共霸榜的次数
def run():    """    1. 下载抖音iDou榜单所有数据    2. 按照构建数据用于可视化        1. config.json        2. data.csv    3. 下载源码,替换config.json,导入data.csv    4. 视频录制    :return:    """    # 用户头像,写入config.json    user_avatar = {}    # 累计数据.csv,写入时按照,用户昵称重新排序    star_total_data = {}    # 每周数据.csv,写入时按照,用户昵称重新排序    star_week_data = {}    # 下载抖音iDou榜单,总共的周数    billboard_weekly_list = get_weekly()    # 下载每个榜单周期的数据    billboard_weekly_list = reversed(billboard_weekly_list)    for row in billboard_weekly_list:        start_timestamp = row['start_time']        end_timestamp = row['end_time']        start_date = time.strftime("%Y.%m.%d", time.localtime(start_timestamp))        end_date = time.strftime("%Y.%m.%d", time.localtime(end_timestamp))        edition_no = row['edition_no']        title = f"第{edition_no}期 {start_date} - {end_date}"        billboard_data = get_star_billboard(row['uid'])        user_list = billboard_data.get("user_list", [])        for idx, user in enumerate(user_list):            user_info = user['user_info']            # 获取该明星此周的数据            user_week_data_list = star_week_data.get(user_info['nickname'], [])            top_times = user_week_data_list[-1]['top_times'] if user_week_data_list else 0            if idx == 0:                # 此周是top                top_times += 1            user_week_data_list.append(                {                    "name": user_info['nickname'],                    "type": f"{top_times}周",                    "top_times": top_times,                    "value": user['hot_value'],                    "date": title                }            )            star_week_data[user_info['nickname']] = user_week_data_list            # 获取明星的累计数据,取最后一周的数据进行累计            user_total_data_list = star_total_data.get(user_info['nickname'], [])            user_total_data_list.append(                {                    "name": user_info['nickname'],                    "type": f"{top_times}周",                    "value": user['hot_value'] + user_total_data_list[-1]['value'] if user_total_data_list else user[                        'hot_value'],                    "date": title}            )            star_total_data[user_info['nickname']] = user_total_data_list            # 写入用户头像            if user_info['nickname'] not in user_avatar:                user_avatar[user_info['nickname']] = user_info['avatar_thumb']['url_list'][0]    # 每周数据    with open('every_weekly_data.csv', 'a', encoding='utf-8') as f:        f.write("name,type,value,date\n")        for users in star_week_data.values():            for user in users:                f.write(f"{user['name']},{user['type']},{user['value']},{user['date']}\n")    # 累计数据    with open('total_data.csv', 'a', encoding='utf-8') as f:        f.write("name,type,value,date\n")        for users in star_total_data.values():            for user in users:                f.write(f"{user['name']},{user['type']},{user['value']},{user['date']}\n")    # 用户头像,写入config.json    imgs = ['"{}": "{}"'.format(nickname, img_url) for nickname, img_url in user_avatar.items()]    img_str = ",".join(imgs) if imgs else ""    config_js_to_visualization = Template(filename='base_config.mako', input_encoding='utf-8')    with open('config.js', 'a', encoding='utf-8') as f:        f.write(config_js_to_visualization.render(img_str=img_str))复制代码
4. 替换配置文件,打开数据文件将生成的config.js文件替换到[Historical-ranking-data-visualization-based-on-d3.js/src/]打开[Historical-ranking-data-visualization-based-on-d3.js/src/bargraph.html],选中生成的csv文件即可看到数据可视化展示

最后注意:很多人学Python过程中会遇到各种烦恼问题,没有人解答容易放弃。为此我建了个python学习资源群里面有最新学习资料,如果你想学python,可以关注我,后台私信我 ‘py’ 自动获取最新python教程资料!还有老司机解答哦!

本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

标签: #python视频谁讲的好