爬取豆瓣电影排名的代码以及思路
2021/6/4 18:23:26
本文主要是介绍爬取豆瓣电影排名的代码以及思路,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
博问上到有人问的,后自己帮他代码修正了一下,其实蛮简单的一个爬虫
代码以及思路
from requests_html import HTMLSession session = HTMLSession() #定义一个session对象,和reuqests模块中的session是一样的 def get_movie(): movie_list=[] for i in range(0, 10): #前250名 print(f'{i+1}页') link = f'https://movie.douban.com/top250?start={i*25}' #这里呢稍微点几页你就知道规律了 print(link) response = session.get(link) #这里很多人都有误区总是喜欢加User-Agen,个人感觉他反爬的时候用到这个再加,人家都没设这方面的反爬加了也没啥意义 div_list = response.html.find('.info') #你也可以获取info类下的电影信息 for each in div_list: movie = each.text #获取里面所有字符串 movie_list.append(movie) #加列表你可以存数据库,这随意 return movie_list if __name__ == '__main__': print(get_movie())
这篇关于爬取豆瓣电影排名的代码以及思路的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南
- 2024-09-30Dnd-Kit学习:新手快速入门指南