大数据

大数据

Arcgis无法连接在线资源

Portal&Online阿楚 回复了问题 • 3 人关注 • 2 个回复 • 42 次浏览 • 2020-10-19 06:34 • 来自相关话题

Arcgis无法连接在线资源

关于arcgis datastore的问题笔记(持续更新)

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 199 次浏览 • 2020-06-28 12:01 • 来自相关话题

关系库相关问题:
 问题1: 在arcgis datastore的配置页面报错如下:
 






 
解决方法:

找到pg_hba.conf,然后在其中添加以下这么一句:

host    all             all              0.0.0.0/0            md5
 

 
问题2:如何手动启动datatore中的关系库,方便后续排查问题。

解决方

矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 283 次浏览 • 2020-05-19 15:04 • 来自相关话题

这是一篇绕行方案,主要实现的是让大家在使用run python script的时候,可以给结果正确的添加新的中文字段。
 
具体问题描述:

 在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:

{"messageCode":"BD_101138","message":"[Python]

矢量大数据(Geoanalytics Server)工具之“描述数据集”

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 130 次浏览 • 2020-05-18 09:56 • 来自相关话题

测试环境: 单节点GA,1071版本,Linux版本。
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。

为什么使用这个工具?

我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。

使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。

工具

矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 145 次浏览 • 2020-05-15 18:23 • 来自相关话题

目的:

主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
 

关键技术思路:

想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
 

必备条件:

必须注册大数据文件共享。

大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们

矢量大数据(Geoanalytics Server)之run python script入门基础篇

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 288 次浏览 • 2020-04-24 18:35 • 来自相关话题

在GA的rest页面查看工具,可以看到runpythonscript的入口。

这个工具主要的目的有:
 
串联调用GA中的工具;
 
利用pyspark包功能的能力;
 
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
 
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不

矢量大数据(Geoanalytics Server)之时区支持测试小结

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 186 次浏览 • 2020-04-21 17:44 • 来自相关话题

今天展开测试了一下GA中的时区支持。
 
先看结论:

GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
 
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
 
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
 
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式

矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 271 次浏览 • 2020-03-06 16:42 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
所需要的辅助工具:postman

根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
 
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。

1.

矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 230 次浏览 • 2020-03-06 16:01 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
是否需要其他辅助工具:否

-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。

这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后

矢量大数据(Geoanalytics Server)之 执行失败后的排查方法

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 337 次浏览 • 2020-02-28 15:56 • 来自相关话题

写在前面:

在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
 

通过这篇文章,你将收获:
 
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从

矢量大数据(Geoanalytics Server)之 监控分析任务执行

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 247 次浏览 • 2020-02-28 15:37 • 来自相关话题

写在前面:
Geoanalytics server的执行客户端可以是ArcGIS Pro,Portal for ArcGIS,以及能操作rest接口的开发语言。不论是在哪个端发起执行任务,都可以通过同一种方法来监控任务执行进度以及日志信息。这些日志信息可以帮助理解问题可能出现的诱因。
 

通过这篇文章,你将收获:如何监控GA大数据任务执行。


监控任务执行方法:
 

GA的任务是类似于GP服

GA大数据工具分析的中间结果怎样保存在内存或者datastore中(不发布为要素服务)?

ArcGIS Enterprise勾戈雪黎 回复了问题 • 3 人关注 • 2 个回复 • 484 次浏览 • 2020-01-02 12:03 • 来自相关话题

 

S.png


在ArcPro或者Portal上调用GA大数据分析工具进行分析时,都会把分析结果生成一个要素服务;如果我想把大数据工具的分析结果保存下来(共享文件夹或datastore)而且不发布要素服务,应该怎么设置?
 

矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 792 次浏览 • 2018-08-20 00:00 • 来自相关话题

本文目的

上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。

开始之前

在开始之前,我们来看两个必要问题:

1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A

Arcgis无法连接在线资源

回复

Portal&Online阿楚 回复了问题 • 3 人关注 • 2 个回复 • 42 次浏览 • 2020-10-19 06:34 • 来自相关话题

Arcgis无法连接在线资源

GA大数据工具分析的中间结果怎样保存在内存或者datastore中(不发布为要素服务)?

回复

ArcGIS Enterprise勾戈雪黎 回复了问题 • 3 人关注 • 2 个回复 • 484 次浏览 • 2020-01-02 12:03 • 来自相关话题

 

S.png


在ArcPro或者Portal上调用GA大数据分析工具进行分析时,都会把分析结果生成一个要素服务;如果我想把大数据工具的分析结果保存下来(共享文件夹或datastore)而且不发布要素服务,应该怎么设置?
 

请问矢量大数据分析功能可以通过pro调用吗

回复

ArcGIS Serverzhenghui2915 回复了问题 • 3 人关注 • 2 个回复 • 442 次浏览 • 2020-01-02 11:43 • 来自相关话题

arcpy 如何导出布局视图范围内的要素?

回复

脚本代码/工具张佳期 回复了问题 • 2 人关注 • 1 个回复 • 1160 次浏览 • 2019-06-25 15:52 • 来自相关话题

arcpy 如何导出布局视图范围内的要素?如下图




或者通过Python实现数据导出类似功能





 

ArcGIS能否为路网中各路段自动生成sourceID和endID

回复

ArcGIS Desktop徐珂 回复了问题 • 2 人关注 • 1 个回复 • 1261 次浏览 • 2018-11-05 13:46 • 来自相关话题

目前手头上有一份路网文件,其中每个路段有唯一表示符,这个路段起点的ID,这个路段终点的ID。但是经过查看,有相连的两个路段,如a和b. a.endId != b.sourceId 这就导致了在实现最短路径计算时,找不到a后续的道路,将无法导航。由于路网数据量较大,想借助ArcGIS 实现路网道路ID的起点,终点的重新排序,确保a.endId= b.sourceId 这样。请问有工具箱或者脚本嘛?具

GeoAnalytics Server输入图层问题

回复

ArcGIS Enterprise陈辰 回复了问题 • 2 人关注 • 1 个回复 • 929 次浏览 • 2018-07-30 11:51 • 来自相关话题

使用GA做矢量大数据分析,如果想做全国的整体分析,但是已有数据都是一个个以县为单位的图层,需要将各县图层合并拼接成一个全国图层吗?做一些空间分析是只能在同一个图层上吗?

arcgis portal在进行大数据分析时,报错,显示分析服务不可用,Unable to access the analysis service.

回复

ArcGIS Enterprise勾戈雪黎 回复了问题 • 5 人关注 • 4 个回复 • 1275 次浏览 • 2018-05-09 16:11 • 来自相关话题

部署的大数据环境,在portal端进行分析,昨天都还可以分析成功,今天一点击分析的功能就报错Unable to access the analysis service.
感觉像是portal访问不了arcserver的大数据分析工具,查看了环境,没有问题。。。又重启服务和机器并重新登录portal 还是不行,哪位大神知道是什么原因

构建大数据存储集群失败:Failed to configure spatiotemporal big data store

回复

ArcGIS Server许丹石 回复了问题 • 4 人关注 • 2 个回复 • 1485 次浏览 • 2017-12-18 18:31 • 来自相关话题

版本:ArcGIS 10.5
机器1:a1.gis.com
机器2:a2.gis.com
在机器1部署了 ags server,portal ,webadaptor,bigdatastore(关系和时空)
在机器2部署了:ags server bigdatastore(时空)
目前,机器1和机器2已经组成了cluster,在同一site
但是在机器2部署完bigdatastore配置时,我选择的

关于arcgis datastore的问题笔记(持续更新)

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 199 次浏览 • 2020-06-28 12:01 • 来自相关话题

关系库相关问题:
 问题1: 在arcgis datastore的配置页面报错如下:
 






 
解决方法:

找到pg_hba.conf,然后在其中添加以下这么一句:

host    all             all              0.0.0.0/0            md5
 

 
问题2:如何手动启动datatore中的关系库,方便后续排查问题。

解决方

矢量大数据(Geoanalytics Server)之如何在runpythonscript中书写中文字段

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 283 次浏览 • 2020-05-19 15:04 • 来自相关话题

这是一篇绕行方案,主要实现的是让大家在使用run python script的时候,可以给结果正确的添加新的中文字段。
 
具体问题描述:

 在run python script中给结果添加新字段,字段是中文的话,会报以下编码错误:

{"messageCode":"BD_101138","message":"[Python]

矢量大数据(Geoanalytics Server)工具之“描述数据集”

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 130 次浏览 • 2020-05-18 09:56 • 来自相关话题

测试环境: 单节点GA,1071版本,Linux版本。
测试数据:1500万条点记录,以csv文件形式存储在大数据文件共享上。

为什么使用这个工具?

我的原数据是一个2GB的csv文件,一般这样的数据是无法用excel或者其他工具直接打开的,无法轻易的浏览其全部面貌,也无法了解数据本身的记录是否完整等。

使用“描述工具集”,可以让我进一步了解这个数据集,我们先来看通过工具获得的结果。

工具

矢量大数据(Geoanalytics Server)之如何将结果输出成为shapefile

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 145 次浏览 • 2020-05-15 18:23 • 来自相关话题

目的:

主要展开说明如何将GA的结果输出成为本地的shapefile文件;了解这篇文章之后,可以类推如何输出成为csv等。
 

关键技术思路:

想要实现这个目的不难,关键是需要在GA manager中先注册好数据的“输出模板”。
 

必备条件:

必须注册大数据文件共享。

大数据文件共享是GA接入用户数据源的关键,比如有的用户的数据是放在本地磁盘上的大量shapefile,csv等,我们

矢量大数据(Geoanalytics Server)之run python script入门基础篇

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 288 次浏览 • 2020-04-24 18:35 • 来自相关话题

在GA的rest页面查看工具,可以看到runpythonscript的入口。

这个工具主要的目的有:
 
串联调用GA中的工具;
 
利用pyspark包功能的能力;
 
串联处理的中间数据不用保存到本地,节省了数据保存的时间,提高了工具效率。
 
有的小伙伴已经使用过arcgispythonapi调用GA,但是使用runpythonscript写Python代码与前者不太一致,但是想要入门也不

矢量大数据(Geoanalytics Server)之时区支持测试小结

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 186 次浏览 • 2020-04-21 17:44 • 来自相关话题

今天展开测试了一下GA中的时区支持。
 
先看结论:

GA 中的支持的时区遵循joda time,具体到GA manager中注册时候有三种方式书写时区:
 
如果想填缩写,只支持UTC和GMT;否则就要使用全名或者小时偏移的方式;
 
使用时区的全名,测试了以下两个例子是可行的:Asia/Shanghai,Asia/Tokyo;
 
使用小时偏移的方式表达时区,与上面两个例子对应等效的书写方式

矢量大数据(Geoanalytics Server)之在时空库中删除GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 1 个评论 • 271 次浏览 • 2020-03-06 16:42 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
所需要的辅助工具:postman

根据上一篇文章《矢量大数据(Geoanalytics Server)之在es中找到GA任务结果服务对应的数据》,可以明确我们要删除的数据。
 
如果通过以下方式删除了服务对应的全部数据,服务本身不会被删除,结果会导致服务里面包含的要素为0。

1.

矢量大数据(Geoanalytics Server)之在时空库中找到GA任务结果服务对应的数据

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 230 次浏览 • 2020-03-06 16:01 • 来自相关话题

环境:arcgis enterprise 1071 + geoanalytics server 1071 单机版本
是否需要其他辅助工具:否

-------------------
执行GA工具的时候,计算结果可以选择放在es中,计算结束后,还会生成一个托管要素服务。

这篇文章的重点是搞清楚以下三方之间的对应关系:
GA计算完成后在arcgis enterprise中生成的服务;GA计算完成后

矢量大数据(Geoanalytics Server)之 执行失败后的排查方法

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 337 次浏览 • 2020-02-28 15:56 • 来自相关话题

写在前面:

在文章《矢量大数据(Geoanalytics Server)之 监控分析任务执行》中讲解了如何查看GA任务执行状态和执行中的日志信息,如果由于某些原因,任务执行失败,那么可以参考这篇文章来排查可能的问题。
 

通过这篇文章,你将收获:
 
GA大数据任务执行失败后排查问题的方向,包括GA和数据库本身的状态,磁盘空间,输入数据以及其他原因的排查方式。当然每次出现问题并不需要按照文章从

矢量大数据(Geoanalytics Server)之 监控分析任务执行

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 247 次浏览 • 2020-02-28 15:37 • 来自相关话题

写在前面:
Geoanalytics server的执行客户端可以是ArcGIS Pro,Portal for ArcGIS,以及能操作rest接口的开发语言。不论是在哪个端发起执行任务,都可以通过同一种方法来监控任务执行进度以及日志信息。这些日志信息可以帮助理解问题可能出现的诱因。
 

通过这篇文章,你将收获:如何监控GA大数据任务执行。


监控任务执行方法:
 

GA的任务是类似于GP服

矢量大数据(Geoanalytics Server)之 注册大数据文件共享步骤帖

ArcGIS Server勾戈雪黎 发表了文章 • 0 个评论 • 792 次浏览 • 2018-08-20 00:00 • 来自相关话题

本文目的

上一篇理解了数据清单和实际数据存储的关系,接下来可以实际动手生成这个清单,将待处理的数据接入大数据平台。
这篇文章挑取了最好上手的共享目录来完成演示。

开始之前

在开始之前,我们来看两个必要问题:

1. 我可以将数据放在哪里?
• File share—本地磁盘或者网络共享的数据文件夹
• HDFS—HDFS目录
• Hive—阿帕奇hive数据库
• Cloud store—A

实现外网访问内网arcgis平台攻略

ArcGIS Enterprise勾戈雪黎 发表了文章 • 0 个评论 • 1055 次浏览 • 2018-08-15 00:00 • 来自相关话题

实际需求:

将物理主机内部的基于docker容器搭建的GA环境对外开放,实现即只要能访问物理宿主机的用户都可以使用该环境执行大数据测试。
相同技术思路也可以作为参考实现:为Portal for ArcGIS 与ArcGIS Server配置反向代理,以实现外网访问内网GA(RA或者GIS Server集群)环境。

测试环境:

物理主机安装了docker 和nginx, 并根据以下帖子在物理宿
  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
ArcGIS 10.5是一个能够支持实时大数据的平台,通过将原来的GeoEvent扩展模块升级为GeoEvent Server,实时GIS的支撑框架也大为增强,不仅能更好的支持实时数据源的接入、处理和输出,在支持的数据量上更是大幅提升,直接实现对实时大数据的高效接入、分析处理、可视化和实时历史大数据的挖掘分析。