python爬虫:爬取B站搜索内容
2022/1/6 17:07:23
本文主要是介绍python爬虫:爬取B站搜索内容,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
注:爬虫仅可用于娱乐学习,不可用于商业用途(小心牢饭)
最近闲来无事,想要爬取知乎内容玩一玩,奈何最近知乎又更新了反爬机制!不管我用啥方法都获取不到首页html和json内容,于是乎转战B站。(若有哪位大佬知道最新知乎解密方式望指点一下)
看到网上好多教程都是爬取热榜,今天想尝试一下搜索关键词爬取所有相关内容(思路是一致的)
进入开发者工具寻找内容
以搜索“原神”为例:
火狐:设置->更多工具->web开发者工具(Ctrl+shift+l)
Microsoft Edge:F12快捷键
在弹出的页面内依次点击以下框:在搜索框搜索包含视频信息的url,这里以某一视频八重神子实机演示为例搜索:
找到记录这一页视频信息的url,进入消息头
获取相应参数
复制保存消息头中的url,Cookie,User-Agent信息
注:Cookie不要全都复制,复制一部分就行(到某一部分分号之前)
点击GET中链接,可以看到记录的json格式信息:
可以根据自己的需要在代码中获取哪一部分
里面有每个视频标题,简介,播放量,关注量,作者id等
爬取一页内容
import requests, json import pandas as pd url = '放入你的需要爬取的url' headers = { 'Host': 'api.bilibili.com', 'user-agent': '你的user-agent', 'Cookie': '你的Cookie' } title_list, like_list, play_list = [],[],[] def getdata(): res = requests.get(url, headers=headers).content.decode('utf-8') jsonfile = json.loads(res) if (jsonfile['data']): # 爬取内容,根据你想要的内容更改列表和标签 for content in jsonfile['data']['result']: title_list.append(content['title']) like_list.append(content['like']) play_list.append(content['play']) getdata() data1 = { '标题': title_list, '播放量': play_list, '点赞量': like_list } dataframe = pd.DataFrame(data=data1) dataframe.to_excel('./数据.xlsx', index=False, encoding='utf-8') print("end")
爬取多页内容
自己可以尝试一下翻页,翻页之后url发生变化
下面对其url解析一下:
GET https://api.bilibili.com/x/web-interface/search/all/v2?context=&page=1&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0
我们可以发现第一页page=1,第二页page=2,其余内容不发生改变
因此我们想要翻页爬取的时候只需要把page改变就可以了
首先把url中的page拿出来&page=1
这时url只有https://api.bilibili.com/x/web-interface/search/all/v2?context=&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0
每次解析完一页,page+1就可以了
import requests, json import pandas as pd url = '放入你的需要爬取的url(去掉page)' # 去掉 headers = { 'Host': 'api.bilibili.com', 'user-agent': '你的user-agent', 'Cookie': '你的Cookie' } title_list, like_list, play_list = [],[],[] def getdata(start): # 用于输入当前页数 data = { 'page': start }; # 读取url中数据 res = requests.get(url, headers=headers, data=data).content.decode('utf-8') # 变为json格式数据 jsonfile = json.loads(res) # 根据自己需求改变下列内容 if (jsonfile['data']): for content in jsonfile['data']['result']: title_list.append(content['title']) like_list.append(content['like']) play_list.append(content['play']) # 输出爬取页过程 print('page'+str(start)) # 因为每一页最多存放20个视频,判断如果这一页有20个视频,说明还可能有下一页,然后再爬下一页 if len(jsonfile['data']['result']) == 20: getdata(start + 1) # 从第一页开始获取数据 getdata(1) Data = { '标题': title_list, '播放量': play_list, '点赞量': like_list } dataframe = pd.DataFrame(data=Data) dataframe.to_excel('./数据2.xlsx', index=False, encoding='utf-8') print("end")
这篇关于python爬虫:爬取B站搜索内容的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-20Python编程入门指南
- 2024-12-20Python编程基础与进阶
- 2024-12-19Python基础编程教程
- 2024-12-19python 文件的后缀名是什么 怎么运行一个python文件?-icode9专业技术文章分享
- 2024-12-19使用python 把docx转为pdf文件有哪些方法?-icode9专业技术文章分享
- 2024-12-19python怎么更换换pip的源镜像?-icode9专业技术文章分享
- 2024-12-19Python资料:新手入门的全面指南
- 2024-12-19Python股票自动化交易实战入门教程
- 2024-12-19Python股票自动化交易入门教程
- 2024-12-18Python量化入门教程:轻松掌握量化交易基础知识