# 爬虫使用分享：风云2号卫星气象照片

**URL:** <https://www.shiqidu.com/t/topic/687>\
**Category:** 开发调优\
**Tags:** 互联网\
**Created:** [2020 年1 月 27 日 04:28 UTC](https://www.shiqidu.com/t/topic/687 "2020-01-27T04:28:13Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

作者： ![opengps](https://www.shiqidu.com/user_avatar/www.shiqidu.com/opengps/32/951_2.png) [@opengps](https://www.shiqidu.com/u/opengps)\
发布日期： [2020 年1 月 27 日 04:28 UTC](https://www.shiqidu.com/t/topic/687/1 "2020-01-27T04:28:13Z")

</div>

# 爬虫概述

早在2016年，我用我的[阿里云ECS](https://2bit.cn/ecs?opengps590)上运行了一个长期性质的爬虫程序，内容是采集风云二号气象卫星照片，现在假期终于有时间回来查看结果，简单统计如下（附图）：

图片总数：45869 个文件

最早文件：201609131345.jpg

最晚文件：201910091415.jpg

 ![](https://www.shiqidu.com/uploads/default/original/1X/4a3f959880e33f577dc012766457de40066ccf3c.png)

# 爬虫运行过程

**1，数据源：**

当时意外获得一个长期有效的数据来源，其URL参数，为时间格式，也就是说有着明显的规律。适合爬虫运行

**2，爬虫运行：**

这个爬虫的运行条件其实有2个：1定时下载；2不停机运行；

既然是气象数据，当然得定时抓取，所以我写了一个windows服务，置于后台连续运行。虽然中间由于服务器其他问题导致中断过几次，不过架不住时间长久，因此还是成功连续采集了很多数据。

还有个要求就是不能关机，程序需要连续运行。我的最终方案就是使用[云服务器ECS](https://2bit.cn/ecs?opengps590)部署运行。避免使用个人PC长期开机来运行。

**3，处理存储：**

首先，这个程序既然要长期运行，那么非常避讳的一点就是所有结果都集中在一个本地文件夹里，因此我选用了阿里云对象存储OSS，同时由于我需要不关机，所以我最终是[云服务器ECS](https://2bit.cn/ecs?opengps590)+[对象存储OSS](https://2bit.cn/oss?opengps590)，ECS和OSS使用了同地域的，因此内网打通传输很快。这样我就只在本地做一个临时存储，转存OSS后不再占用本地硬盘，这样一来我才可以放心启动后“免维护”运行这好几年。

**4，爬虫关停**

爬虫的关停并非我本意，是我假期期间查看日志才知道数据源已经失效了。因此本爬虫寿终正寝。虽然我可以去寻找一下新的有效数据源，但是由于老数据我都没用好，那么新的数据就暂时先不去寻找了。

# 爬虫工作完成，最终成果下载

我选用了阿里云推荐的OSS客户端工具，由于我提前规划好了ECS和OSS同地域，因此可以直接内网下载到我的ECS，速度还是很快的，工具显示大于60MB/s。工具部分截图如图：

 ![](https://www.shiqidu.com/uploads/default/original/1X/5f9a92616ac5a3901c67f98497f5268f9fe66a83.jpeg)

为了避免OSS公网下载流量的费用支出（其实是穷：直接下载6G大小文件，忙时价格为1块5毛钱），我将OSS数据内网下载后，走ECS的出带宽下载回我PC本地。本地查看：

 ![](https://www.shiqidu.com/uploads/default/original/1X/e30f960b032301984ecbab1ca3feac917d7b38f4.jpeg)

原文地址：[https://www.opengps.cn/Blog/View.aspx?id=590](https://www.opengps.cn/Blog/View.aspx?id=590)文章的更新编辑依此链接为准。欢迎关注源站原创文章！