遥感大数据云计算模式研究
文献类型：学位论文
| 作者 | 吴进 |
| 答辩日期 | 2022-06 |
| 文献子类 | 学术型学位 |
| 授予单位 | 中国科学院大学 |
| 授予地点 | 中国科学院地理科学与资源研究所 |
| 导师 | 周成虎 |
| 关键词 | 遥感大数据 云计算 无服务器 计算模式 系统构造 |
| 学位名称 | 博士 |
| 学位专业 | 地图学与地理信息系统 |
| 英文摘要 | 自1957年第一颗人造卫星发射以来，对地观测技术取得了巨大的发展，建成了全谱段、全天候、全球观测体系，形成了地球科学领域规模最大、覆盖面最广的遥感大数据，遥感应用也从“一源多用”进入到“多源多用”的时代，遥感影像处理和分析从“视觉遥感”与“算觉遥感”进入到“慧觉遥感”的发展阶段，算法与算力协同、深度学习与物理模型融合等成为遥感科学研究的前沿，遥感大数据云计算成为遥感科学的研究热点，采用云计算技术的遥感大数据计算系统，正朝着弹性化、便捷化、社区化以及智能化的方向发展，并涌现出诸如谷歌地球引擎、微软行星计算等系统。作为遥感前沿研究，遥感大数据云计算目前尚处于初步发展阶段，还存在系统边界不清、技术架构混乱以及难以统一评价等问题，亟待构造一种符合云计算理念的新型且专用于遥感大数据分析的计算模式，该模式力求既能发挥云计算技术的优势，又符合专业化遥感影像处理与分析要求。本文重点从遥感大数据云计算模式的定义以及原理验证系统的构造两方面展开研究，主要研究内容与创新点如下： 系统性调研了现有的遥感大数据云计算系统并梳理归纳出技术栈，在融合典型案例系统设计的基础上，以定义系统的功能边界为目的，首次给出了遥感大数据云计算系统的设计空间，并发现数据分析流程可作为系统设计的核心。分析传统遥感大数据计算模式的流程得知，遥感数据科学家尚未直接具备创建数据分析服务的能力，针对这一问题，本文创新性地提出了无服务器遥感大数据计算模式，该模式以赋能遥感数据科学家为目标，使其能够自行完成遥感大数据分析从模型创建到服务发布的完整流程。计算模式要求系统内核融合无服务器计算与分析就绪型遥感大数据服务，简化遥感大数据分析编程，实现新模型快速触达所有其他用户；为准确指导内核构造，给出了一种以算子为核心抽象的形式化模型，其中编程模型可自动化完成算子加载与广播，运行时环境通过逻辑区域融合无服务器计算与分析就绪型遥感大数据服务并统一了批量计算与即时计算的数据模型；通过形式化模型上的算子模拟执行可知，算子具有组合性以及递降执行的特征，无服务器遥感大数据计算模式可被视为一种语言级抽象。形式化模型仅规范了内核结构，无法简化遥感大数据分析编程，为此给出了遥感分析专用的组合数据类型影像集合及算法骨架；针对组合数据类型侧重原始数据集描述及聚合算子难以自定义的问题，补充一种侧重分析结果的基于内容描述的虚拟数据立方体抽象及基本算子；作为两种高层次且专用的数据类型，影像集合及虚拟数据立方体可有效简化遥感大数据分析编程。因此设计空间、计算模式、形式基础以及计算原语分别从系统功能、关键特征、内核构造以及用户编程四个方面共同构成了计算模式的完整定义，也形成了计算系统的软件构造规范。 为实证计算模式对系统构造的指导作用，依据计算模式的严格定义给出了一组满足其特征需求的软件实现技术，包括动态编程模型、用户自定义算子生成及优化、弹性运行时环境以及遥感大数据并行读取，构造了遥感大数据云计算系统的软件原型。进一步选择了NDVI计算、海面油膜提取以及遥感大数据处理三类任务，验证了原型系统的自定义算子服务能力、计算原语表达能力以及遥感大数据并行读取能力。实验表明，计算原语能够表达实际应用中复杂的遥感数据分析过程。无服务器遥感大数据计算模式可高效地运行在商业云的无服务器计算产品上。影响系统响应时间的主要操作是对云端遥感大数据的读取以及格式转换。在面对并发请求量快速增长以及海量遥感数据并行读取时，用户自定义算子能够在数秒内快速启动大量实例处理异步计算请求，并在执行完后自动关闭并释放实例，这证实了用户自定义算子在发布后具有较强的弹性伸缩能力，且可作为一种云端服务而存在，最终实现了遥感科学家自行完成大数据分析算子从创建到发布的目标。 |
| 学科主题 | 地图学与地理信息系统 |
| 语种 | 中文 |
| 页码 | 188 |
| 源URL | [http://ir.igsnrr.ac.cn/handle/311030/186921]  |
| 专题 | 地理科学与资源研究所_研究生部 |
| 推荐引用方式 GB/T 7714 | 吴进. 遥感大数据云计算模式研究[D]. 中国科学院地理科学与资源研究所. 中国科学院大学. 2022. |
入库方式： OAI收割
来源：地理科学与资源研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。