Python采集天天基金数据,帮你掌握基金最新动向
2021/12/18 17:20:24
本文主要是介绍Python采集天天基金数据,帮你掌握基金最新动向,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
本次案例实现流程
一、思路分析
需要什么数据?需要的数据在哪里?
二、代码实现
- 发送请求
- 获取数据
- 解析数据
- 多页爬取
- 保存数据
知识点
- requests发送请求
- 开发者工具的使用
- json类型数据解析
- 正则表达式的使用
开发环境
- 版 本:python 3.8
- 编辑器:pycharm 2021.2
本次目标
对于本篇文章有疑问的同学可以加【资料白嫖、解答交流群:910981974】
分析网站
第一步:打开开发者工具,按F12,或者右键点击检查
第二步:刷新网站,点击搜索工具,在搜索框内输入基金代码,点击搜索
第三步:找到数据所在的真实url
开始代码
导入模块
import requests import re import csv
发送请求
url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1' headers = { 'Cookie': 'HAList=a-sz-300059-%u4E1C%u65B9%u8D22%u5BCC; em_hq_fls=js; qgqp_b_id=7b7cfe791fce1724e930884be192c85e; _adsame_fullscreen_16928=1; st_si=59966688853664; st_asi=delete; st_pvi=79368259778985; st_sp=2021-12-07%2014%3A33%3A35; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20211216201351423-112200312936-0028256540; ASP.NET_SessionId=miyivgzxegpjaya5waosifrb', 'Host': 'fund.eastmoney.com', 'Referer': 'http://fund.eastmoney.com/data/fundranking.html', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36', } response = requests.get(url=url, headers=headers)
获取数据
data = response.text
解析数据 筛选数据
data_str = re.findall('\[(.*?)\]', data)[0]
转变数据类型
tuple_data = eval(data_str) for td in tuple_data: # 把td 变成列表 td_list = td.split(',')
翻页
分析不同页数url变化规律
for page in range(1, 193): print(f'-------------------------正在爬取第{page}页内容-----------------------') url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi={page}&pn=50&dx=1'
保存数据
with open('基金.csv', mode='a', encoding='utf-8', newline='') as f: csv_write = csv.writer(f) csv_write.writerow(td_list) print(td)
运行代码,得到数据
这篇关于Python采集天天基金数据,帮你掌握基金最新动向的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-04Python外包有哪些常见的主要库-icode9专业技术文章分享
- 2024-10-02基于深度学习的钢铁缺陷检测系统(yolov8、注意力机制、PyQt5界面、Python)
- 2024-10-01怎么用python搭建一个系统-icode9专业技术文章分享
- 2024-09-30Python基础入门教程
- 2024-09-30获取参数学习:Python中的基础教程
- 2024-09-30Python编程基础详解
- 2024-09-29点击加载学习:Python编程基础教程
- 2024-09-29数据科学五大Python前端库:第二部分
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础