Problem
三峡库区库水位作为一项基本的水文数据,在地灾、环境和水力等研究中极其重要。
设计 python 脚本采集库水位数据,每天自动同步,并提供下载。
- 数据来源:中国长江三峡集团有限公司
- 下载地址:ThreeGorgesWaterRegimen.xlsx
Solution
- F12分析网站查询请求,导入 postman,生成 python 代码;
- 撰写自动采集脚本,将数据存入 mysql 数据库备份(为后期前端分析使用及查询做准备);
- 同时导出为 xlsx 文件提供用户下载;
- 利用 crontab 创建定时任务,每日定时更新 xlsx 文件。
Feature
- 分时数据,每日2:00、8:00、14:00和20:00都会有水位数据
- 数据丰富,有上下游水位和库入库流速
- 多站点,有三峡、葛洲坝、向家坝和溪洛渡等站点的数据
Preview
Download
代码已部署于服务器,每日更新 Excel 文件。下载地址
Others
源码: Github
Email: cug.xia@gmail.com