Python爬虫系列之爬取猫眼电影,没办法出门就补一下往期电影吧
2022/1/15 12:03:45
本文主要是介绍Python爬虫系列之爬取猫眼电影,没办法出门就补一下往期电影吧,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
前言
今天给大家介绍利用Python爬取并简单分析猫眼电影影评。让我们愉快地开始吧~
开发工具
Python版本:3.6.4
相关模块:
requests模块;
pyecharts模块;
jieba模块;
scipy模块;
wordcloud模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
数据爬取
我们想要爬取的数据是猫眼电影中某部电影下方的评论信息:
由于PC端每部电影的评论数据只显示几条而已,因此我们选择爬取移动端的影评数据,这里以电影“狗十三”为例,移动端地址为:
精选讨论 - 狗十三?
注:78480为电影编号,可根据你自己的需求修改。
它大概长这样:
简单抓包可得:
即对其添加页码和时间信息即可获得对应的影评数据,于是我们就可以开始写代码了:
在cmd窗口运行maoyan.py文件测试一下代码,效果如下图所示:
爬取结果保存在comments_data.pkl文件中。
All Done!完整源代码详见主页获取相关文件。
数据分析
这里以爬取到的电影“狗十三”的影评数据为例,时间关系只爬了几千条数据,不过也足够用来做做简单的数据分析了~
首先,让我们来看看发布影评的网友在全国范围内的分布情况吧:
再来看看发布影评的网友男女比例呗:
再来看看电影的评分分布呗:
把影评做成词云玩一哈?
看看评论数量随日期的变化?
这篇关于Python爬虫系列之爬取猫眼电影,没办法出门就补一下往期电影吧的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2025-01-03用FastAPI掌握Python异步IO:轻松实现高并发网络请求处理
- 2025-01-02封装学习:Python面向对象编程基础教程
- 2024-12-28Python编程基础教程
- 2024-12-27Python编程入门指南
- 2024-12-27Python编程基础
- 2024-12-27Python编程基础教程
- 2024-12-27Python编程基础指南
- 2024-12-24Python编程入门指南
- 2024-12-24Python编程基础入门
- 2024-12-24Python编程基础:变量与数据类型