资源三号大数据在线批量处理原型系统
分享
-
2016-06-13
一、 背景
资源三号测绘卫星，简称ZY3，是中国第一颗民用高分辨率光学传输型测绘卫星，卫星于2012年1月9日发射，它搭载了四台光学相机，包括一台地面分辨率2.1m的正视全色TDI CCD相机、两台地面分辨率3.6m的前视和后视全色TDI CCD相机、一台地面分辨率5.8m的正视多光谱相机，数据主要用于地形图制图、高程建模以及资源调查等。卫星设置寿命5年，可长期、连续、稳定地获取立体全色影像、多光谱影像以及辅助数据，可对地球南北纬84度以内的地区实现无缝影像覆盖。
大批量获取的资源三号影像数据，需要进行解压、正射校正、6°夹角校正、融合、镶嵌等预处理，这是一项非常耗时和耗力的工作。
2013年11月，ENVI/IDL原产商Exelis VIS公司发布了最新版本的企业级服务器产品ENVI Services Engine5.1，该产品是将IDL和ENVI的图像处理功能以服务的方式提供，可以部署到各种企业级环境中，包括集群环境、企业级服务器或者云平台等。客户端（移动端、网页端等）通过发送HTTP REST请求调用IDL和ENVI处理功能，处理结果通过标准的HTTP机制返回到客户端。
ENVI Services Engine提供了一个健壮的、可伸缩的负载均衡机制，支持并行处理和分布式处理。基于ENVI/IDL可以很容易的开发相应的遥感功能，并部署到ENVI Services Engine中。我们将这种技术应用到大批量获取的资源三号影像数据处理中，相比单机处理方式，处理效率得到极大的提高，并且可以通过Web客户端在线进行操作。
二、 解决方案
ENVI Services Engine产品支持在线处理、负载均衡和多任务并行，从而可以基于该产品构建一个批量处理资源三号数据的系统。
1、软硬件环境
计算机环境（DELL工作站）
l CPU:2个8核，2.4主频
l 内存：8G
l 硬盘：1.9T，15000转硬盘
软件环境
l 操作系统：Linux
l ENVI Services Engine5.1 ，4 个Works
2、数据处理流程
资源三号数据预处理包括：自动解压、正射校正、自动几何校正（6°夹角）、融合和重叠区裁剪等。
图1 数据处理流程
3、Web客户端（资源三号数据在线批量处理系统）
基于ASP.net构建的客户端。
图2 Web客户端
4、测试结果：
数据：4对标准景数据，即4景5.8米多光谱图像，4景2.1米全色图像。
在ENVI Services Engine管理员控制台中看到每个任务的运行情况：运行时间、排队时间、运行状态等。
图3 任务测试结果
4对标准景数据测试结果如下表：
4对标准景数据总共处理时间为：51分57秒~59分57秒。也就是近1小时处理完成4对数据。
三、 展望
除了资源三号数据的在线批量处理，您还可以基于ENVI Services Engine软件技术构建其他遥感影像数据处理平台，如高分数据（高分1和2（即将发射））、资源一号02C 等。如果将系统部署在更高性能的计算机中，或者集群，甚至云计算环境中，处理效率将会得到进一步的提升。
文章来源：http://blog.sina.com.cn/s/blog_764b1e9d0102uwzd.html
资源三号测绘卫星，简称ZY3，是中国第一颗民用高分辨率光学传输型测绘卫星，卫星于2012年1月9日发射，它搭载了四台光学相机，包括一台地面分辨率2.1m的正视全色TDI CCD相机、两台地面分辨率3.6m的前视和后视全色TDI CCD相机、一台地面分辨率5.8m的正视多光谱相机，数据主要用于地形图制图、高程建模以及资源调查等。卫星设置寿命5年，可长期、连续、稳定地获取立体全色影像、多光谱影像以及辅助数据，可对地球南北纬84度以内的地区实现无缝影像覆盖。
大批量获取的资源三号影像数据，需要进行解压、正射校正、6°夹角校正、融合、镶嵌等预处理，这是一项非常耗时和耗力的工作。
2013年11月，ENVI/IDL原产商Exelis VIS公司发布了最新版本的企业级服务器产品ENVI Services Engine5.1，该产品是将IDL和ENVI的图像处理功能以服务的方式提供，可以部署到各种企业级环境中，包括集群环境、企业级服务器或者云平台等。客户端（移动端、网页端等）通过发送HTTP REST请求调用IDL和ENVI处理功能，处理结果通过标准的HTTP机制返回到客户端。
ENVI Services Engine提供了一个健壮的、可伸缩的负载均衡机制，支持并行处理和分布式处理。基于ENVI/IDL可以很容易的开发相应的遥感功能，并部署到ENVI Services Engine中。我们将这种技术应用到大批量获取的资源三号影像数据处理中，相比单机处理方式，处理效率得到极大的提高，并且可以通过Web客户端在线进行操作。
二、 解决方案
ENVI Services Engine产品支持在线处理、负载均衡和多任务并行，从而可以基于该产品构建一个批量处理资源三号数据的系统。
1、软硬件环境
计算机环境（DELL工作站）
l CPU:2个8核，2.4主频
l 内存：8G
l 硬盘：1.9T，15000转硬盘
软件环境
l 操作系统：Linux
l ENVI Services Engine5.1 ，4 个Works
2、数据处理流程
资源三号数据预处理包括：自动解压、正射校正、自动几何校正（6°夹角）、融合和重叠区裁剪等。
图1 数据处理流程
3、Web客户端（资源三号数据在线批量处理系统）
基于ASP.net构建的客户端。
图2 Web客户端
4、测试结果：
数据：4对标准景数据，即4景5.8米多光谱图像，4景2.1米全色图像。
在ENVI Services Engine管理员控制台中看到每个任务的运行情况：运行时间、排队时间、运行状态等。
4对标准景数据测试结果如下表：
4对标准景数据总共处理时间为：51分57秒~59分57秒。也就是近1小时处理完成4对数据。
三、 展望
除了资源三号数据的在线批量处理，您还可以基于ENVI Services Engine软件技术构建其他遥感影像数据处理平台，如高分数据（高分1和2（即将发射））、资源一号02C 等。如果将系统部署在更高性能的计算机中，或者集群，甚至云计算环境中，处理效率将会得到进一步的提升。
文章来源：http://blog.sina.com.cn/s/blog_764b1e9d0102uwzd.html
