【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(1)概述、架构、数据源
分享
-
2017-04-05
1、概述
ArcGIS GeoAnalytics Server是ArcGIS 10.5推出的一款全新的用于矢量大数据分析处理的服务器产品，其利用分布式计算和存储来处理带有时间和空间属性的大规模矢量或者表格数据。对于亿万级别数据量的空间分析，原来需要几天、几周的时间才能处理完成，现在分钟级即可实现，大大提升了庞大空间数据分析处理的效率。
ArcGIS GeoAnalytics Server是ArcGIS Enterprise（组织机构内部搭建Web GIS平台）的可选服务器产品。在已经具备ArcGIS Enterprise基础部署的基础上，安装并授权ArcGIS GeoAnalytics Server可以为平台带来矢量大数据分析能力。
2、架构
数据层：ArcGIS GeoAnalytics Server支持多种来源的大数据。支持ArcGIS Datastore、主流关系型数据库、文件型数据以及HDFS、Hive等。
服务器层：多个节点的ArcGIS GeoAnalytics Server集群。ArcGIS GeoAnalytics Server封装了Spark分布式计算框架，一旦接到任务请求，会将任务进行拆解，根据当前资源情况将计算任务分配到GeoAnalytics集群中不同的节点，同时进行计算。
客户端：客户端发送任务请求，并对分析结果进行加载和渲染。目前集成大数据分析能力的客户端包括ArcGIS Pro、Portal for ArcGIS (Map Viewer) 、ArcGIS Python API等。
3、数据源
大数据文件的存储是大数据分析的数据源，常规的数据接入包括关系型数据库或者ArcGIS DataStore中存储的数据(关系型和时空大数据存储型)，而在ArcGIS GeoAnalytics Server中新增了大数据文件共享存储类型，这是一个创建在Portal for ArcGIS中的项目，是对要素数据（点、线、面以及一些表格数据）在ArcGIS Server上的可用地址的引用。通俗的讲就是根据文件数据生成内容清单并将清单注册到ArcGIS Server上，而没有上传原始数据。注册的大数据文件可以被大数据工具直接调用，大数据文件共享可以使用以下三种数据源：
· 文件共享——数据集的目录
· HDFS——Hadoop分布式文件系统（Hadoop Distributed File System）
· Hive——元存储数据集
注：大数据文件共享只有在开启ArcGIS GeoAnalytics Server时才能使用
使用公用数据源的大数据文件共享存在诸多益处。在执行分析前，您可以将数据保存在您可访问的位置。大数据文件共享可用于在运行分析时访问数据，以便您可以继续将现有数据集的更多数据添加到大数据文件共享，无需重新注册或发布数据。您还可以更新大数据文件共享，方法为通过修改清单修改、添加或移除数据集。大数据文件共享在时间和几何的定义方式上极其灵活，允许在单个数据集上使用多种时间格式。大数据文件共享还可用于对数据集进行分区，并且将多个分区视为一个数据集。
注册成功的大数据共享文件夹会生成一个文件共享目录清单，服务器会自动寻找可以作为坐标的字段，如果需要修改自动识别的字段则可以将目录清单进行下载，修改之后再进行上传。
---------------------------------------------------------
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(1)概述、架构、数据源:http://zhihu.esrichina.com.cn/article/2920
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(2)大数据分析工具:http://zhihu.esrichina.com.cn/article/2918
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(3)多客户端使用:http://zhihu.esrichina.com.cn/article/2916
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(4)产品特色、部署:http://zhihu.esrichina.com.cn/article/2914
ArcGIS GeoAnalytics Server是ArcGIS 10.5推出的一款全新的用于矢量大数据分析处理的服务器产品，其利用分布式计算和存储来处理带有时间和空间属性的大规模矢量或者表格数据。对于亿万级别数据量的空间分析，原来需要几天、几周的时间才能处理完成，现在分钟级即可实现，大大提升了庞大空间数据分析处理的效率。
ArcGIS GeoAnalytics Server是ArcGIS Enterprise（组织机构内部搭建Web GIS平台）的可选服务器产品。在已经具备ArcGIS Enterprise基础部署的基础上，安装并授权ArcGIS GeoAnalytics Server可以为平台带来矢量大数据分析能力。
2、架构
数据层：ArcGIS GeoAnalytics Server支持多种来源的大数据。支持ArcGIS Datastore、主流关系型数据库、文件型数据以及HDFS、Hive等。
服务器层：多个节点的ArcGIS GeoAnalytics Server集群。ArcGIS GeoAnalytics Server封装了Spark分布式计算框架，一旦接到任务请求，会将任务进行拆解，根据当前资源情况将计算任务分配到GeoAnalytics集群中不同的节点，同时进行计算。
客户端：客户端发送任务请求，并对分析结果进行加载和渲染。目前集成大数据分析能力的客户端包括ArcGIS Pro、Portal for ArcGIS (Map Viewer) 、ArcGIS Python API等。
3、数据源
大数据文件的存储是大数据分析的数据源，常规的数据接入包括关系型数据库或者ArcGIS DataStore中存储的数据(关系型和时空大数据存储型)，而在ArcGIS GeoAnalytics Server中新增了大数据文件共享存储类型，这是一个创建在Portal for ArcGIS中的项目，是对要素数据（点、线、面以及一些表格数据）在ArcGIS Server上的可用地址的引用。通俗的讲就是根据文件数据生成内容清单并将清单注册到ArcGIS Server上，而没有上传原始数据。注册的大数据文件可以被大数据工具直接调用，大数据文件共享可以使用以下三种数据源：
· 文件共享——数据集的目录
· HDFS——Hadoop分布式文件系统（Hadoop Distributed File System）
· Hive——元存储数据集
注：大数据文件共享只有在开启ArcGIS GeoAnalytics Server时才能使用
使用公用数据源的大数据文件共享存在诸多益处。在执行分析前，您可以将数据保存在您可访问的位置。大数据文件共享可用于在运行分析时访问数据，以便您可以继续将现有数据集的更多数据添加到大数据文件共享，无需重新注册或发布数据。您还可以更新大数据文件共享，方法为通过修改清单修改、添加或移除数据集。大数据文件共享在时间和几何的定义方式上极其灵活，允许在单个数据集上使用多种时间格式。大数据文件共享还可用于对数据集进行分区，并且将多个分区视为一个数据集。
注册成功的大数据共享文件夹会生成一个文件共享目录清单，服务器会自动寻找可以作为坐标的字段，如果需要修改自动识别的字段则可以将目录清单进行下载，修改之后再进行上传。
---------------------------------------------------------
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(1)概述、架构、数据源:http://zhihu.esrichina.com.cn/article/2920
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(2)大数据分析工具:http://zhihu.esrichina.com.cn/article/2918
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(3)多客户端使用:http://zhihu.esrichina.com.cn/article/2916
【ArcGIS 10.5 产品白皮书】第二章 ArcGIS平台产品---ArcGIS GeoAnalytics Server(4)产品特色、部署:http://zhihu.esrichina.com.cn/article/2914
