【Python爬虫】新发现一个高质量跳舞视频网站爬一下试试,男生都喜欢
2021/11/20 20:39:55
本文主要是介绍【Python爬虫】新发现一个高质量跳舞视频网站爬一下试试,男生都喜欢,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
好难受,上次发了做游戏的居然没人看,每天为了给你们写啥,老夫心都操碎了~
真的是,今天来给大家爬一波短视频网站吧,都是些很养眼的~
网站地址在代码里面,大家用心一下就能看到了。
使用的软件
- python 3.8
- pycharm 2021.2
模块
- requests
- parsel
- re
- concurrent.futures
- time
- warnings
不会安装模块看这篇:如何安装python模块, python模块安装失败的原因以及解决办法
代码展示
知道你们不想看那些步骤,我直接上代码吧
import requests import parsel import re import concurrent.futures import time import warnings # 取消警告 warnings.filterwarnings("ignore") def get_html(url): """发送请求获取网页源代码""" html_data = requests.get(url=url, verify=False).text return html_data def parse_data_1(html_data): """第一次解析, 拿到所有的详情页链接""" selector = parsel.Selector(html_data) url_list = selector.xpath('//a[@class="meta-title"]/@href').getall() return url_list def parse_data_2(html_data): """第二次解析, 获取视频链接""" video_url = re.findall('url: "(.*?)",', html_data)[0] return video_url def save(video_url): """保存视频""" title = video_url.split('/')[-1] # 取链接当中的字段作为标题 video_data = requests.get(video_url, verify=False).content # 发送网络请求 with open(f'video/{title}', mode='wb') as f: f.write(video_data) print(title, "爬取成功!!!") start_time = time.time() url = 'https://www.520mmtv.com/hd/rewu.html' # 1. 向目标网站发送请求 html_data = get_html(url=url) # 2. 第一次解析数据 提取详情页链接 url_list = parse_data_1(html_data=html_data) for info_url in url_list[:10]: # 3. 向详情页发送请求 html_data_2 = get_html(url=info_url) # 4. 第二次解析数据 提取视频播放地址 video_url = parse_data_2(html_data=html_data_2) # 5. 保存视频 save(video_url=video_url) print('花费时间:', time.time() - start_time)
#兄弟们学习python,有时候不知道怎么学,从哪里开始学。 #掌握了基本的一些语法或者做了两个案例后,不知道下一步怎么走,不知道如何去学习更加高深的知识。 #那么对于这些大兄弟们,我准备了大量的免费视频教程,PDF电子书籍,以及视频源的源代码! #还会有大佬解答! #都在这个群里了 872937351 #欢迎加入,一起讨论 一起学习!
爬取结果
视频教程:
兄弟们,学废了点个赞呗~
这篇关于【Python爬虫】新发现一个高质量跳舞视频网站爬一下试试,男生都喜欢的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础
- 2024-09-2610 种方法写出更好的 Python 代码
- 2024-09-25Python编程基础详解
- 2024-09-25Python编程入门教程
- 2024-09-25从零开始使用Python构建LLaMA 3
- 2024-09-23Python中理解和使用树形结构的简单教程
- 2024-09-23Python 编程基础入门
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战