python中基于xarray处理netcdf文件时,加速处理速度
2021/10/13 17:14:53
本文主要是介绍python中基于xarray处理netcdf文件时,加速处理速度,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
python中基于xarray处理netcdf文件时,使用dask加速处理速度
在处理高分辨率气象文件netcdf格式文件时,常规的处理速度太慢!!数据量过大,造成卡死,真是上头!!!先不要想着新装内存,虽然我差点京东下单!
话不多说
首先需要先安装好dask包!!!
1、以日数据气温数据netcdf文件为例。
图中是两个打开方式,其中air是气温变量。
data_dask是使用dask,chunks则是以经纬度10度为间隔划分块。进而分块处理。
data_nodask常规打开方法。
2、以按年平均举例,查看两者速度!
可以看到,文件按照chunks字典被划分为1550个chunks。求年均耗时68.8ms!
若要加载dask存储为正常的xarray时,使用load或values方法读取。
不使用dask的情况:
这是一个例子,我认为可以做到抛砖引玉的作用!!!最近处理数据,常常遭遇卡死,先做一记录!后面有新发展继续更新!希望大家提提意见建议!
这篇关于python中基于xarray处理netcdf文件时,加速处理速度的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-04Python外包有哪些常见的主要库-icode9专业技术文章分享
- 2024-10-02基于深度学习的钢铁缺陷检测系统(yolov8、注意力机制、PyQt5界面、Python)
- 2024-10-01怎么用python搭建一个系统-icode9专业技术文章分享
- 2024-09-30Python基础入门教程
- 2024-09-30获取参数学习:Python中的基础教程
- 2024-09-30Python编程基础详解
- 2024-09-29点击加载学习:Python编程基础教程
- 2024-09-29数据科学五大Python前端库:第二部分
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础