前言：
现在大家对“大数据算法网课”都比较着重，朋友们都需要了解一些“大数据算法网课”的相关资讯。那么小编同时在网摘上网罗了一些对于“大数据算法网课””的相关文章，希望朋友们能喜欢，朋友们一起来了解一下吧！在上一篇文章中，使用了logistic回归来对电影评论进行分类，消耗了2到3个小时，在使用网格搜索对50000条电影评论构建特征向量的时候计算成本是非常大的。在实际应用中，可能会遇见更大的数据集，如果直接把数据集加载到内存中，可能会超出计算机的最大内存，同时也会需要更久的时间。在这篇文章中，将介绍外存学习来处理大数据集，使用外存学习来处理50000条电影评论只需要1分钟。
在梯度下降算法中，我们有学习过随机梯度下降和批量梯度下降，每次通过一个或批量的训练数据来更新权重。而，外存学习与批量梯度下降的思想是一致的。使用sklearn的SGDClassifier的partial_fit函数来训练从本地磁盘读取的批量数据，来构建模型。
1、导入相关包
2、评论的预处理
3、读取电影评论
4、模型训练和预测
sklearn中的TfidfVectorizer在计算电影评论的特征向量时，需要将所有的电影评论加载到计算机的内存中来计算TF-IDF。sklearn还提供了HashingVectorizer来计算文本信息的向量，HashingVectorizer是独立数据，使用了32位的MurmurHash3算法。
总结：外存学习能提高训练模型的速度，但同时也会降低模型的准确率。在上一篇文章中，使用网格搜索和交叉验证获得的模型在训练集上的准确率为89.9%在测试集上的准确率为90.6%。所以在处理实际问题的时候，我们需要根据我们的需求来进行选择，从训练时间和资源消耗之间进行衡量。
版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
标签： #大数据算法网课
