java gis项目_HIVE扩展GIS函数

男娘i 2023-01-01 10:49 211阅读 0赞

    按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。

    Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。(引用自维基百科hive描述)

    HIVE允许用户使用UDF(user defined function)对数据进行处理。我们用到的是spatial-framework-for-hadoop。下载完源码，修改最外层的pom.xml,修改hadoop、hive、java版本为生产环境中版本,重新编译项出spatial-sdk-json-2.1.0.jar和spatial-sdk-hive-2.1.0.jar。

  1. hadoop-2.72.7.3
  3. hive-1.21.2.1
  5. 1.81.82.7.31.2.1

    下载最新的esri-geometry-java中的esri-geometry-api-2.2.1.jar，上传三个jar到linux系统(jar权限设置成最高),在hive的shell控制台输入添加jar和创建函数语句。

  1. add jar /usr/hdp/2.6.4.0-91/hive/auxlib/esri-geometry-api-2.2.1.jar;add jar /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-json-2.1.0.jar;add jar /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-hive-2.1.0.jar;CREATE TEMPORARY FUNCTION STPoint as 'com.esri.hadoop.hive.ST_Point';

6ce7806e6a3783b735973a51ebc5b768.png

    自定义函数使用可以参考官方文档UDF文档,创建自定义函数可以参考spatial-framework-for-hadoop项目的hive下function-ddl.sql，但创建永久函数需要去掉temporary。

发表评论

表情：
评论列表 （有 0 条评论，211人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hive中扩展GIS函数

    应用场景 目前，Hive表中存在需要把经纬度转化为距离，和一些其他相关的计算函数，但是在hive中并没有集成这些函数。当然我们可以自定义UDF函数，但是现在提供一个更加简

    Dear 丶Dear 丶/ 0 赞/ 65 阅读

    相关 java gis项目_HIVE扩展GIS函数

        按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。     Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据

    男娘i男娘i/ 0 赞/ 212 阅读

    相关 GIS空间索引

    微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路 在GIS系统中，空间索引技术就是通过更加有效的组织方式，抽取与空间定位相关的信息组成对原空间数据的索引，以较

    朴灿烈づ我的快乐病毒、朴灿烈づ我的快乐病毒、/ 0 赞/ 1574 阅读