arcgis 散瓦片发布服务_ArcGIS 空间大数据：深晓时空、洞知内涵

向右看齐 2023-01-03 14:16 2阅读 0赞

2019年5月21日，Esri空间信息技术开发者大会，在北京科技会堂召开，期间做了ArcGIS空间大数据的主题报告，现把原文PPT分享，欢迎大家一起交流学习，共同进步。(*文内容仅代表个人观点*)

![2f0448433489c78787d2485db7e102bb.png][]

大家好，我是刘春影，接下来分享ArcGIS空间大数据的新技术、新能力和新应用。

![1dabacc569ccb79f781a1eacd40d1048.png][]

当前，我们面临着技术和业务转型，从传统项目开发，转向大数据平台建设，从而引入数据融合、模型构建、技术赋能等一系列应用。可以说这是一个转型的时代、也是一个变革的时代。

![2abfb223dbb12e5c651c92afd58ed0c0.png][]

ArcGIS顺应大数据潮流，自2014年10.3产品中使用了Hadoop大数据分析框架，在2017年1月，ArcGIS 10.5产品中，正式集成了Spark分布式计算框架，并提供了14种即拿即用的大数据分析工具， 2019年3月，ArcGIS 10.7中，提供了24个分析工具，同时还提供了可自定义扩展的接口。我们在不断蜕变、革新。

![9458dfd47a4984ca347d3dd7f563b0ea.png][]

ArcGIS大数据分析产品，即GeoAnalytics Server，主要针对大规模的具有空间位置信息、时间属性信息的矢量数据和表格数据，进行分布式计算和处理的平台级产品。

其核心能力是：分布式计算能力、数据处理能力、洞察挖掘能力、和机器学习能力。

![bc761509b45b3bfbd2e0dacd41f2eb2b.png][]

ArcGIS空间大数据整体架构，分为四个部分：1)源数据接入；2)分布式计算集群；3)时空大数据存储；4)ArcGIS平台门户层。

在ArcGIS 10.7大数据中，从数据接入、分析计算、服务发布和应用开发各个层面都有较大程度革新。在数据源接入层面，支持文件共享、HDFS、Hive、及云存储的数据源接入，同时，DBMS中数据以要素服务形式分析；在分布式运算过程中，GA内置了一系列分析计算工具，这些工具是基础的算子，可以通过组合串联，实现业务模型的支撑，也可以说传统桌面中主流和常见的toolbox里的工具，正在逐步搬到服务器端，赋予其更加高效的分析计算能力；分析结果存储：可以说高效的运算，需要有高效的存储来支撑，ArcGIS提供了时空大数据存储能力，通过多节点分布式计算集群，实现海量空间数据的高效读写；服务发布：大数据分析结果，同时可以以要素服务形式进行发布，在Portal直接访问和使用服务，进行系统开发和业务应用集成。

![aa06603e9f5627381ccedea17cc26cf5.png][]

在大数据分析中，我们的数据要如何组织才能进行高效的分析呢？ArcGIS 大数据支撑多源数据接入，接入形式主流的包括要素服务、和大数据文件共享，大数据文件共享中的数据可以是CSV、Shapefile、Parquet、ORC等格式，那么这些数据可以存放在文件共享、HDFS、Hive、以及云存储中，如S3对象存储。

![3ad513a46ec868003e116ff054fbbb8d.png][]

接下来进行大数据分析资源池构建，也就是对空间数据的组织和管理，其依据为从技术角度进行基于规则的抽取、转换和加载；从业务维度进行基于需求的汇聚、融合和更新。最终实现数据源源不断的汇聚到大数据分析资源池中。

![223d2964af8c33adeab43682fc7442a1.png][]

入池以后的数据，也是动态的、流转的。以一个实际项目需求为例，数据从不同来源、不同形式抽取为shp文件，并进行一系列规则检查，汇入到大数据分析资源池，通过ArcGIS大数据分析计算后，其输出结果写回大数据资源池中，从而支撑多维应用，这一分析结果输出到文件能力，是ArcGIS 10.7中新增的。

![d7f7a8944a774826f4258f6c8b19131b.png][]

了解了数据源接入组织和管理，接下来看下ArcGIS空间大数据分析工具，在10.7中提供了六大类、24个工具，涵盖了数据处理、趋势预测等内容。

如我们常见的聚合分析、热点分析、叠加分析等，在10.7中新推出了7个工具，比如描述数据集工具，具有对数据进行宏观描述的能力，如现在我们有1亿条出租车运行数据，无从知道其空间范围、属性信息，想要了解数据的宏观情况，可以通过抽样采样的方式，进行细致的数据情况查看，可以采样10万条进行输出，查看数据范围，同时还能够输出一个统计表格，判断出有多少车辆型号、速度等统计信息；第二个新推出的工具，通过多值段网格丰富数据，也就是我们通常理解的地理空间赋能的能力，可以把多源多维度的业务数据通过地理空间网格的形式进行赋值，从而让地理空间网格具有了丰富的业务信息。如气象数据，每一个空间格网上，涵盖了气温、降水、日照、土壤湿度等多维度信息表达；第三个新工具，基于森林的分类和回归、以及广义线性回归工具，也是10.7中新推出的，相当于ArcGIS中的机器学习能力，逐步走向服务器端。

总体来说，这些分析工具涵盖了数据处理 .叠加分析 .事件检测 .机器学习 .洞察预测等全面的应用场景，而且都是通过分布式计算实现，从而大大提升分析性能。

![fd5f7091713a4a1fcf905984f6919181.png][]

了解了大数据分析工具和性能，接下来看下这些分析工具如何支撑应用的，第一个场景：ArcGIS空间大数据，全面支撑国土空间规划业务。

![820b553ae09e5eb80b630dc1366ed7b2.png][]

当下，国土空间规划建设如火如荼，其典型需求是变化监测、冲突检测、差异性分析、汇总统计计算等，这里常用的数据有现状数据、规划数据、管理数据、基本农田数据、城市发展边界数据等等；而常用的ArcGIS GA工具有，Join要素连接、Intersect叠加分析、Union数据合并分析、范围内汇总、Clip等一系列大数据分析工具。

从而支撑起如下场景：控规数据与现状数据差异性分析、城镇建设用地与生态红线差异性分析、两规(城规、土规)建设用地布局差异、城市发展边界与基本农田压盖分析、多年度土地利用变化监测分析。

![d3cbf45185e2b4e4f23602124fce174c.png][]

国土空间差异性分析，其主旨需求是对空间变化、属性变化、以及未发生变化的内容，均做输出。使用ArcGIS Union大数据分析工具。

![969af65d4385324c4d27354e32265063.png][]

2016年和2017年，两个年份的土地利用数据，利用Union进行分析，可以直观的看出，红色是发生变化部分地块、蓝色是未发生变化地块，同时可以统计出变化最大的前十类地类。

![5b935f7a789727df6cef6b994e43f55d.png][]

以上是大数据支撑传统需求进行模型重构的应用，下面看下第二个场景： ArcGIS大数据支撑电力巡检时空大数据分析。

![1547c27f5b85ad8b017bb19ebe837314.png][]

根据历时五年的电力巡检数据，挖掘出在哪些地方的变压器、在哪些时间段，发生A、B、C三项电流之和大于额定电流的情况？其技术难点在于数据清洗、参数指标设定、和分析构建。

![6753ec67414b5befc2a5bbbf326bb76b.png][]

分析模型如下：通过整合和接入多维业务数据，包括变压器位置数据、电流电压数据、配电变压器数据，针对数据进行清洗、存储和管理，使用ArcGIS大数据分析工具的字段计算、要素连接、事件检测三个工具构建模型，同时设置指标和参数，完成业务场景建设。

![184b77ed71a66b642f988bc22df1ddb2.png][]

这是事件检测分析全过程，加载电力电压业务数据，查看属性表，有ABC三相电之和数据，选择事件检测分析工具，设置要分析的空间位置为变压器位置，限定条件为三项电流之和大于额定负载，并进行结果输出，这个分析工具提供了接口，我们可以依据业务需求，进行表达式设定，分析完成，可以看出，不同时间、不同区域三相电负载过高的分布情况。

![814b8a9a77530bd3d7535bfbd94067d5.png][]

接下来看下第三个应用场景：空间大数据+AI，开启地理赋能新篇章。

![14c253f342b6788905806ba11f8ff854.png][]

机器学习整体可以分类为非监督学习、监督学习，非监督学习典型的算法是聚类，监督学习典型的算法是分类和回归，这两种算法主要是用来做预测。

相对应的，在ArcGIS GA中，推出了机器学习工具，包括随机森林分类和回归分析、广义线性回归分析、点聚类分析三大类。

![9adec3f44ac839154353994443b7a5be.png][]

一个实际的需求，给定2018年北京房价数据、2018年北京市POI数据，包括学校、医院、地铁、商圈等内容，以及2020年的北京市规划数据，这是现有数据，如何预测2020年北京市房价？这一过程的整体思想是：**查找规律、训练模型、预测未知。**

![c2e788eb81ba92bef6250bd7cec084e4.png][]

房价预测模型如下：通过多源数据组织，如学校数据、医院数据、商圈数据等影响房价的数据进行清洗和组织，这些数据如何与房价数据进行关联？采用我们前面提到的构建多变量网格，使其在地理空间维度上进行信息丰富，然后基于随机森林分类和回归进行房价预测和结果输出，而这其中最核心的能力是：地理空间赋能、和洞察挖掘预测。

![6760ee245d880631249a4ab976eab587.png][]

![3f8a29f0774b5d2e85e627737dda69fc.png][]

![8c45f0a4dfdd2954912c65edc86b96e0.png][]

![a1635cd071b4d8df9444ff926e3a0013.png][]

首先是相关的清洗、组织和管理，在Web端加载所有相关数据，如学校、医院、地铁站、公园等，这些数据会影响房价，而且影响的权重不同，比如离医院近一些，房价会高一些，那么这些参数如何实现呢？我们通过构建多变量网格工具，在北京市范围内构建1公里乘1公里的格网，使每个格网赋予其多维属性信息，如每个格网距离学校1km，距离地铁3km，距离医院5km等因素，均赋值到格网上，可以看到格网具有了多维度业务属性。

接下来需要把格网数据与房价数据进行关联，通过ArcGIS GA 10.7中新推出的从多变量网格丰富数据工具，实现了地理空间网格与房价数据的关联，从而使房价数据具备了多源的业务属性，具备了赋值的能力。

接下来使用基于随机森林的分类和回归工具，这里选择训练模型和预测，选择2018年房价数据，勾选影响因子，选择2020年北京市规划数据，来预测房价，实现了由已知向未知预测的全过程。

![d2be34586911347fe9cc7fb3e61aa0ff.png][]

![d8613a2cf334850c1444269b35e2f9d2.png][]

这是房价预测结果，可以看出东西城区颜色深的部分，房价较高。同时还可以对每个影响因子进行权重分析，可以看出，在北京，学区是影响房价最大的因素！

![4268fb08a3c77b0cda83b664b30e6bcb.png][]

了解了大数据分析能力、和应用，我们开发者最为关心的一个话题：ArcGIS大数据如何进行开发扩展？

![e82e34283ad61c43d38250b173421eae.png][]

ArcGIS大数据支持三种开发扩展方式：Rest API、Python API、Run PythonScript，通过这些开发接口，以及实际业务需求，用户可以进行二次开发、工具串联、模型定制，以及自定义工具。

![a7e28b7d0291aaab97f0f8ad38f61564.png][]

前两种我们都很熟悉，第三种Run PythonScript，是ArcGIS 10.7新推出的能力，提供了一个接口，能够通过Python去调用ArcGIS大数据分布式计算框架。其使用方式，是通过Rest服务来提交Python脚本，可以导入并使用其他类库和方法。

![e4c79b083538de97a9b9c4715f8e0748.png][]

这是地类图斑数据、和叠加分析数据，现在的需求是：计算出每个裁剪地块范围内的，不同地类图斑类型、及分类面积汇总。

![915b02fa0cb9fea9a2c5ab329aeace62.png][]

刚才的需求，需要对两份数据进行叠加分析、裁剪计算、属性统计，如果采用传统方式做模型，是把工具串联，一个最大的问题是，中间结果输出并发布服务，性能会降低；

而在ArcGIS GA 10.7中，采用run pythonscript能力，通过rest服务进行模型构建，一样的流程、不一样的效率，中间结果写入内存，分析结果一次性输出，大大提升了分析性能。

![1ccc23bf701f109317589639816ba037.png][]

关于开发能力小结，在ArcGIS GA 10.7中，利用runPython串接模型，中间结果写入内存，大大提升分析效率。

![5d4cd47565f59e9463ea1d47e4e29d48.png][]

综上，ArcGIS空间大数据，能够全方位支撑业务应用，空间大数据分析和应用，任重道远，而我们一直在路上，谢谢大家！

![9e2dcc300616c279d9f7ffa7aaca42c7.png][]

最后，送一首我非常喜欢的宋词，感谢大家的支持：

# **水****龙吟·登建康赏心亭( 宋.辛弃疾)** #

楚天千里清秋，水随天去秋无际。遥岑远目，献愁供恨，玉簪螺髻。落日楼头，断鸿声里，江南游子。把吴钩看了，栏杆拍遍，无人会，登临意。

休说鲈鱼堪脍，尽西风，季鹰归未？求田问舍，怕应羞见，刘郎才气。可惜流年，忧愁风雨，树犹如此！倩何人唤取，红巾翠袖，揾英雄泪？

2019.05.22 腊月于北京

![231989e4c039e3f74decbafbe69c8670.png][]

[2f0448433489c78787d2485db7e102bb.png]: /images/20221119/9a4d23a7ebfe4e58b1329b1cbec6abab.png
[1dabacc569ccb79f781a1eacd40d1048.png]: /images/20221119/e589516a52264eb38ea88530291494fb.png
[2abfb223dbb12e5c651c92afd58ed0c0.png]: /images/20221119/6a9a7093758a49b4aec73145bd83cf78.png
[9458dfd47a4984ca347d3dd7f563b0ea.png]: /images/20221119/a1851a4a8fe843729cb863fa5940d119.png
[bc761509b45b3bfbd2e0dacd41f2eb2b.png]: /images/20221119/02fbd6204c7946588d81ce4d47c1a768.png
[aa06603e9f5627381ccedea17cc26cf5.png]: /images/20221119/49d3b6373ed84535aae2eb7730e93b82.png
[3ad513a46ec868003e116ff054fbbb8d.png]: /images/20221119/11231c72daf949a1af93c347508aa50f.png
[223d2964af8c33adeab43682fc7442a1.png]: /images/20221119/8cb1bc844cb44622be0cf08d0ed0849a.png
[d7f7a8944a774826f4258f6c8b19131b.png]: /images/20221119/a91a5246d3ae43e9ab34781f4c5c1100.png
[fd5f7091713a4a1fcf905984f6919181.png]: /images/20221119/30ef76b512aa4d2fba42707e15c7aafa.png
[820b553ae09e5eb80b630dc1366ed7b2.png]: /images/20221119/c71c1c6726cc4099a0769d1846567865.png
[d3cbf45185e2b4e4f23602124fce174c.png]: /images/20221119/edd26d3562fd44caad274d222820d524.png
[969af65d4385324c4d27354e32265063.png]: /images/20221119/37a6da1945294f52a61c4d15d6c8bfda.png
[5b935f7a789727df6cef6b994e43f55d.png]: /images/20221119/a33c1138bb3b43d2819f6f81f4e12051.png
[1547c27f5b85ad8b017bb19ebe837314.png]: /images/20221119/95b8d0617db1483abd29ad6b2dd38be9.png
[6753ec67414b5befc2a5bbbf326bb76b.png]: /images/20221119/0e6c3002dbbb4c1dbbb66b4cb84bd569.png
[184b77ed71a66b642f988bc22df1ddb2.png]: /images/20221119/bec0407c80104c898b82e89d5625d118.png
[814b8a9a77530bd3d7535bfbd94067d5.png]: /images/20221119/442776a903e74cb1bbf2276c5a8e3c4c.png
[14c253f342b6788905806ba11f8ff854.png]: /images/20221119/fb1e91a40cc241fa8b62d0571ad53af0.png
[9adec3f44ac839154353994443b7a5be.png]: /images/20221119/84cb38cc72a04591bb1d39f924397ca0.png
[c2e788eb81ba92bef6250bd7cec084e4.png]: /images/20221119/46f081b5688d43daaeb5e956094de313.png
[6760ee245d880631249a4ab976eab587.png]: /images/20221119/d7c93fea0f6b4976ac6e5eeda9188c4c.png
[3f8a29f0774b5d2e85e627737dda69fc.png]: /images/20221119/c51c886f4e2f4ae99d4e8345e1b1343b.png
[8c45f0a4dfdd2954912c65edc86b96e0.png]: /images/20221119/3144d39591f342809a7aacd433e821f3.png
[a1635cd071b4d8df9444ff926e3a0013.png]: /images/20221119/8190024de4744b2492374497d97ae9dd.png
[d2be34586911347fe9cc7fb3e61aa0ff.png]: /images/20221119/4feefc7f85084be29cd72d21dcb07c9b.png
[d8613a2cf334850c1444269b35e2f9d2.png]: /images/20221119/41ab573d08aa4699891d2a1415c8bb4d.png
[4268fb08a3c77b0cda83b664b30e6bcb.png]: /images/20221119/00df2e1e9cfd4ee492026ccf0aa6a96f.png
[e82e34283ad61c43d38250b173421eae.png]: /images/20221119/0568d4527cb945fdbd38cb593f709e58.png
[a7e28b7d0291aaab97f0f8ad38f61564.png]: /images/20221119/0e51f91cf6694af2a29801db14c5a741.png
[e4c79b083538de97a9b9c4715f8e0748.png]: /images/20221119/b7ef4b0635c341f697b368b2049016f1.png
[915b02fa0cb9fea9a2c5ab329aeace62.png]: /images/20221119/f33dc49285b0414dae0efb6a656faf31.png
[1ccc23bf701f109317589639816ba037.png]: /images/20221119/4716874b65c34e62a908bb7f9f1679c4.png
[5d4cd47565f59e9463ea1d47e4e29d48.png]: /images/20221119/0b6e12e11e4f492ab0533078111abca8.png
[9e2dcc300616c279d9f7ffa7aaca42c7.png]: /images/20221119/80974530b73446649ca9b16b303a1167.png
[231989e4c039e3f74decbafbe69c8670.png]: /images/20221119/6ba3e5726f97451cb1d342fe3ea744fe.png