【ArcGIS 10.5 产品白皮书】第五章 ArcGIS平台功能模块---实时

1. 概述

物联网的迅猛发展使得产生的实时数据量剧增，传统的实时数据已然向着实时大数据方向发展。ArcGIS平台的实时GIS能力不仅能够很好的支撑传统的实时GIS应用，更能实现实时大数据的接入、分析处理、输出和可视化，以及实时大数据的应用快速创建。基于ArcGIS GeoEvent Server和ArcGIS Enterprise可以在用户的组织机构内创建一个实时大数据的支撑和应用平台，可以实现以下功能：

· 高效接入，提供更快更好的态势感知

· 集群分析和处理，提高响应时间

· 分布式写入，更快的存储实时大数据

· 多种输出，目标监控和趋势分析两相宜

· 实时动态聚合，海量实时数据的高效可视化

· 大数据分析，充分挖掘实时历史数据价值

ArcGIS平台的实时GIS能力由ArcGIS GeoEvent Server和ArcGIS Enterprise共同提供，已经形成了一套完整的实时GIS解决方案，能够满足实时数据从接入到处理，到存储、可视化输出，以及实时历史大数据的挖掘分析的多种需求。



在这个方案中，在数据层提供了新型的ArcGIS Data Store数据存储，“时空”型存储是其重要组成，用来高效存储实时大数据。而存储到时空大数据存储中的实时大数据，也可以使用ArcGIS平台的大数据分析工具进行挖掘分析。

在平台层，ArcGIS提供了一套ArcGIS Enterprise，用来为用户构建企业内部的Web GIS平台，还提供了一系列的服务器，如ArcGIS GeoEvent Server、ArcGIS GeoAnalytics Server、ArcGIS Image Server等，分别用来提供实时大数据的接入、处理和输出、实时历史大数据的挖掘分析、栅格大数据分析能力。

在应用层，ArcGIS平台特有的一系列即拿即用的客户端，如Portal for ArcGIS、ArcGIS Pro、Web AppBuilder for ArcGIS、Operations Dashboard for ArcGIS、Insights for ArcGIS等等，都可以作为实时大数据应用的客户端，让用户无需开发即可快速创建实时GIS应用，实现数据可视化、查询、分析等功能。除了即拿即用的Apps之外，Esri还提供了丰富的开发接口，开发者可以通过ArcGIS JavaScript API、ArcGIS Runtime SDKs、ArcGIS REST API等开发产品快速开发出面向各种终端、集成企业特定业务工作流的实时GIS应用。

2. 实时数据的高效接入、分析和处理和输出

ArcGIS GeoEvent Server内置丰富的数据接入和输出协议，以及多样化的实时数据处理和分析方法，无需开发即可使用，同时支持全方面扩展，定制属于自己的实时GIS接入方案。更多详情请见第二章《六、ArcGIS GeoEvent Server》 。

ArcGIS GeoEvent Server支持集群搭建，有效支持实时大数据的高效接入、处理和输出。单节点每秒最高接入4000个事件，2个节点的集群每秒可接入5200个事件，随着ArcGIS GeoEvent Server节点和ArcGIS Data Store节点数的增加，每秒能处理的实时数据规模也越来越大，下图展示了ArcGIS GeoEvent Server强大的实时数据接入能力。



3. 实时数据的高效存储和查询

ArcGIS GeoEvent Server可将实时数据存入ArcGIS Data Store的时空型数据库中。ArcGIS Data Store的时空型数据库基于高效的elasticsearch分布式搜索引擎封装而成，原生具有分布式多节点部署和存储，与传统的关系型数据库相比，存储和查询效率都极大提高，实现了实时大数据的高效存储，将实时历史数据都予以保留，充分发挥历史数据的巨大价值。

下表显示的ArcGIS Data Store的存储效率。传统关系型数据库不支持分布式多节点的架构，最多每秒能写入0.2k的数据量，而ArcGIS Data Store单个节点可写入106k/秒，随着节点数的增多，写入速度还会更快，5个节点时每秒可写入249k。





基于ArcGIS Data Store的数据查询也远远超过关系型数据库。如对存储在ArcGIS Data Store时空型数据库中的2千8百多万条记录进行属性、时间和空间三个字段联合查询时，只花了83毫秒就得到了60条查询结果，而这个数据量级，在传统的关系型数据库中进行同样的查询可能需要数小时。



4. 实时数据丰富的可视化效果

ArcGIS平台提供了多种方式的实时数据可视化方式，其中最主要的是stream service输出连接器提供的要素显示，和时空大数据存储输出连接器的实时动态聚合的显示效果。

对于流服务（stream service）输出的实时要素可以在二维或者三维场景中以具体要素的方式进行显示，可以给要素配置各种专业和形象的二维和三维的符号以增强逼真的展示效果。





时空大数据存储输出连接器创建一个增强的地图服务，提供实时动态聚合的能力，将实时数据接入ArcGIS平台进行实时动态聚合显示，用户可以一目了然的看出每一时刻的数据状态，以及当前时刻的密度分布。这种聚合的可视化效果可以支持实时大数据的展示，非常实用。



5. 实时历史大数据挖掘

与之前的实时GIS技术相比，ArcGIS 10.5最大的变化之一是能够对实时数据进行高效存储，历史数据得以保留，并且接入到ArcGIS平台的实时历史大数据可以使用ArcGIS GeoAnalytics Server提供的多种大数据分析工具进行挖掘分析。与传统的分析工具相比，使用全新推出的、基于Spark框架的ArcGIS GeoAnalytics Server大数据分析工具可以更快的得到分析结果。如通过对历史数据进行热点分析以及时间轴播放，可以看到某些重点车站等车人流随着时间发生明显变化，为公交站点和线路规划提供更准确的参考。



6. 快速创建实时GIS应用

ArcGIS平台提供了多种丰富的客户端，借助这些丰富的终端，如Portal for ArcGIS、Web AppBuilder for ArcGIS、Operations Dashboard for ArcGIS，ArcGIS Pro，以及最新推出的洞悉数据的利器Insights for ArcGIS等，用户无需任何开发，即可快速创建实时GIS应用，实现实时数据的可视化、查询，甚至是分析。