python爬虫练习4——腾讯视频评论提取
2021/8/18 17:06:06
本文主要是介绍python爬虫练习4——腾讯视频评论提取,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
由于腾讯视频评论处进行触碰处理,点击后,网址是不变的,所以需要先进行分析。
网址:HBO纪录片:成为沃伦·巴菲特【正片】_成为沃伦·巴菲特_腾讯视频 (qq.com)
点击更多评论,查看F12,可以发现其网址。
打开后,我们发现其通过 'first'和'last’进行评论的翻页。我们需要对网址二次赋值。
import requests import re cid = '0' for i in range(0,2): ua = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59'} url = 'https://video.coral.qq.com/varticle/1840040664/comment/v2?callback=_varticle1840040664commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cid)+'&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132' r = requests.get(url ,headers = ua , timeout = 30) print(r.encoding,r.status_code) print('第'+str(i)+'页') print(cid) #print(url) pat1 = '"content":"(.*?)"' comment = re.compile(pat1,re.S).findall(r.text) print(comment) for item in comment: print(str(item)) print('--------------') pat2 = '"last":"(.*?)"' cid = re.compile(pat2,re.S).findall(r.text)[0]
这篇关于python爬虫练习4——腾讯视频评论提取的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-24Python编程入门指南
- 2024-12-24Python编程基础入门
- 2024-12-24Python编程基础:变量与数据类型
- 2024-12-23使用python部署一个usdt合约,部署自己的usdt稳定币
- 2024-12-20Python编程入门指南
- 2024-12-20Python编程基础与进阶
- 2024-12-19Python基础编程教程
- 2024-12-19python 文件的后缀名是什么 怎么运行一个python文件?-icode9专业技术文章分享
- 2024-12-19使用python 把docx转为pdf文件有哪些方法?-icode9专业技术文章分享
- 2024-12-19python怎么更换换pip的源镜像?-icode9专业技术文章分享