使用requests库爬取并下载梨视频
2021/8/19 23:36:09
本文主要是介绍使用requests库爬取并下载梨视频,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
url分析
以梨视频 https://www.pearvideo.com/video_1728019 为例,检查元素可以找到video链接,页面源代码没有,在Network中筛选XHR可找到
inspect element链接(有效):https://video.pearvideo.com/mp4/adshort/20210427/cont-1728019-15665358_adpkg-ad_hd.mp4
Network srcUrl链接(404):https://video.pearvideo.com/mp4/adshort/20210427/1629376413683-15665358_adpkg-ad_hd.mp4
只有加粗部分有区别,1728019为视频id,1629376413683为systemTime,获取srcUrl后replace即可得到视频下载链接。
headers找到url:https://www.pearvideo.com/videoStatus.jsp?contId=1728019&mrd=0.6482209940899077
此时需要进行防盗链处理,找到referer(本次请求的上一级url):
代码
import requests # 1. 网页链接 url = "https://www.pearvideo.com/video_1728019" # 2. 视频id contId = url.split('_')[1] # 3. ua,防盗链 headers_dict = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36", # 防盗链:溯源(referer) "referer": url } # 4. 网页视频链接 videoStatusUrl = f"https://www.pearvideo.com/videoStatus.jsp?contId={contId}&mrd=0.6783504423465614" response = requests.get(videoStatusUrl, headers=headers_dict) # 5. 获取response result = response.json() response.close() # 6. 获取视频源链接 src_url = result['videoInfo']['videos']['srcUrl'] systemTime = result['systemTime'] # https://video.pearvideo.com/mp4/adshort/20210427/cont-1728019-15665358_adpkg-ad_hd.mp4 # https://video.pearvideo.com/mp4/adshort/20210427/1629376413683-15665358_adpkg-ad_hd.mp4 videoUrl = src_url.replace(systemTime, f"cont-{contId}") print(videoUrl) # 7. 下载视频 with open(f"pearvideo_{contId}.mp4", mode="wb") as f: f.write(requests.get(videoUrl).content)
这篇关于使用requests库爬取并下载梨视频的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南
- 2024-09-30Dnd-Kit学习:新手快速入门指南