多源遥感卫星数据采集及管理系统
业务场景与挑战
业务场景：定期或即时对多源遥感卫星数据进行采集、存储、处理，支撑各种上层应用的实施。
痛点：
采集任务多，数据采集需求的执行过于依赖技术人员，定时任务可能采集参数变更频繁，可能随时插入某些即时性的采集任务。
数据采集过程异常、任务状态、任务对应的采集结果等信息缺乏记录、问题发现、定位效率低下。
采集任务规划多、消耗带宽大、且绝大部份需要从外网获取（需要外网IP或VPN），机器资源有限，需要统一的调度，按优先级执行、控制任务并行数量、每个任务的并发度控制。
……
技术现状：
数据爬取程序零散，且硬编码较多，可复用性低，维护成本高；程序设计不合理，不同源遥感影像数据虽然在数据源头采集参数可能存在较大差异，但仍有许多共性参数可以抽象出来。
缺乏统一调度，大部份采集任务依赖人工规划执行计划时间表
……
系统功能概览
设计实现多源遥感数据采集任务管理服务，支持对采集任务进行新增、管理、审计等功能。主要功能：
多源遥感数据采集
支持对多种来源、格式的遥感数据爬取及文件下载服务。
哨兵2、哨兵5
FGL/GFS
葵花8/葵花9
Modis
……
采集任务管理
- 新增采集任务
通过前端界面新增采集任务，填写采集任务相关描述，指定要采集的数据源、采集参数（时空范围、分辨率、数据产品代码、采集周期频率、是否一次性任务/定时任务、数据存储位置、并发下载量等）
采集任务状态管理
任务启用、关停、删除、参数修改等操作可通过界面化管理。
采集数据成果查阅
采集过程日志管理
爬虫、下载器工作过程关键异常信息入库，便于审计。
下载器调度管理
基本架构
状态
已投入使用。
相关项目
