爬虫学习日志1
2021/8/6 23:08:17
本文主要是介绍爬虫学习日志1,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
1 爬虫基础模块 requests
requests是Python中的一款基于网络请求的模块,有简单便捷,效率极高的特点。
1.1 作用
模拟浏览器发请求
1.2 编码流程
——指定url
——发起请求
——获取相应数据
——持久化储存
1.3 实战示例
import requests url = 'https://www.sogou.com/'#指定url response = requests.get(url=url)#发起请求 page_text = response.text#获取响应数据 with open('./sogou.html','w',encoding='utf-8') as sg: sg.write(page_text)#持久化储存 print('爬取已完成')
2 request模块的安装(仅介绍pycharm)
pycharm是提供比较方便的的python编译环境,个人觉得比较好用。
进入正题,pycharm中request模块的安装
首先找到File(左上角)选项中的Setting
接着找到Project下的Python interpret
点击"+",搜索 requests
然后点击 Install Package 就行了
这篇关于爬虫学习日志1的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-05小米13T Pro系统合集:性能与摄影的极致融合,值得你升级的系统ROM
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南