前言:
现在同学们对“jquerysku代码”大致比较关注,大家都想要剖析一些“jquerysku代码”的相关知识。那么小编也在网上网罗了一些对于“jquerysku代码””的相关文章,希望各位老铁们能喜欢,咱们快快来学习一下吧!9月13日发布的iPhone Xs算是手机界的大新闻了,新款iPhone的价格也再度刷新了手机定价的记录。看完发布会,相信很多人的心情是这样的
强哥之前用的iPhone 6,最近准备换手机。经济形势严峻,换iPhone是换不起了,只能消费降级,投奔安卓阵营。
1500元的预算,连个二手的iPhone都买不了,但是在安卓机里却有不少选择。本文我们就来看看怎样用数据分析选购手机。
分析思路
思路很简单,上京东商城把所有手机的数据爬下来,然后根据配置、价格过滤出符合条件的手机,在过滤出来的手机里选择一部性价比最高的。画成流程图,大致是这样的
爬取数据
第一步,我们先从京东商城爬取所有在售的手机数据。这里我们关心的主要是价格和配置信息,商品页面上的价格和配置信息像下面两张图所示
我们编写代码爬取所有手机的价格和配置信息,爬虫的核心代码如下
# 获取手机单品的价格def get_price(skuid): url = "" + str(skuid) + "&area=1_72_4137_0&venderId=1000004123&cat=9987,653,655&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&pduid=15379228074621272760279&pdpin=&detailedAdd=null&callback=jQuery3285040" r = requests.get(url, verify=False) content = r.content.decode('GBK') matched = re.search(r'jQuery\d+\((.*)\)', content, re.M) if matched: data = json.loads(matched.group(1)) price = float(data["stock"]["jdPrice"]["p"]) return price return 0# 获取手机的配置信息def get_item(skuid, url): price = get_price(skuid) r = requests.get(url, verify=False) content = r.content root = etree.HTML(content) nodes = root.xpath('.//div[@class="Ptable"]/div[@class="Ptable-item"]') params = {"price": price, "skuid": skuid} for node in nodes: text_nodes = node.xpath('./dl')[0] k = "" v = "" for text_node in text_nodes: if text_node.tag == "dt": k = text_node.text elif text_node.tag == "dd" and "class" not in text_node.attrib: v = text_node.text params[k] = v return params# 获取一个页面中的所有手机信息def get_cellphone(page): url = ";page={}&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=4#J_main".format(page) r = requests.get(url, verify=False) content = r.content.decode("utf-8") root = etree.HTML(content) cell_nodes = root.xpath('.//div[@class="p-img"]/a') client = pymongo.MongoClient() db = client[DB] for node in cell_nodes: item_url = fix_url(node.attrib["href"]) matched = re.search('item.jd.com/(\d+)\.html', item_url) skuid = int(matched.group(1)) saved = db.items.find({"skuid": skuid}).count() if saved > 0: print(saved) continue item = get_item(skuid, item_url) # 结果存入MongoDB db.items.insert(item)
需要注意的是,上面的get_price和get_item函数分别从两个url获取数据,这是因为配置信息可以直接从商品页面中解析得到,而价格信息需要从另外一个ajax请求里获得。爬下来的所有数据存入MongoDB。
过滤数据
爬下来的手机数据当中,信息完整的共有4700多条数据,这4700多部手机属于70个手机品牌。 这些品牌画成词云图是这样的
手机的配置主要有以下这些参数
是否双卡双待机身材质CPU型号内存大小存储容量电池容量屏幕材质屏幕大小分辨率摄像头
强哥平时用手机主要是看看书、刷刷知乎微信、买买东西,所以选购新手机的时候最关心的就是速度、容量、待机时间这几项,对摄像头、屏幕材质倒不是特别在乎。考虑以上因素,在对数据做过滤的时候,我设定了以下几个条件
CPU的品牌是高通内存大小大于等于6GB存储容量大于等于64GB电池容量大于3000mAh必须是双卡双待价格在1500元以内
过滤数据的代码如下
client = pymongo.MongoClient()db = client[DB]items = db.items.find({})result = preprocess(items)df = pd.DataFrame(result)df_res = df[df.cpu_brand=="骁龙(Snapdragon)"][df.battery_cap >= 3000][df.rom >= 64][df.ram >= 6][df.dual_sim == True][df.price<=1500]print(df_res[["brand", "model", "color", "cpu_brand", "cpu_freq", "cpu_core", "cpu_model", "rom", "ram", "battery_cap", "price"]].sort_values(by="price"))
首先从MongoDB里读取数据,然后创建DataFrame,对DataFrame里的数据按照上面的条件作选择。代码的最后一行将筛选出来的手机打印出来,并按价格从低到高排序。
经过了这样一轮筛选后,我们得到了下面的38款手机
上面的几部手机配置都比较接近,但是网上对小米的评价普遍比较高,于是又在上面的列表里筛选出了所有的小米手机,得到下面7款
这里就变成了红米Note5和小米6X的PK了。价格上,两者不差上下。配置方面,网上查到红米Note5的cpu是骁龙636的(上面的表格里缺少红米Note5的cpu型号),相比小米6X的骁龙660,636虽然性能上不如660,但更省电,而且考虑到红米Note5 4000毫安的超大容量电池,最后决定了购买红米Note 5这一款。作为一款千元机,骁龙636八核CPU、6G大内存、64G大存储、5.99英寸大视野全面屏、前置相机+后置双摄、超长的待机时间,这款手机大概算是千元机中的机皇了。
有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】,感兴趣者可以关注小编后私信学习资料(是关注后私信哦)反正闲着也是闲着呢,不如学点东西啦
标签: #jquerysku代码