解决Spark 读取 Elasticsearch的array类型报错的问题

爱被打了一巴掌 2022-03-06 10:20 217阅读 0赞

## 解决Spark 读取 Elasticsearch的array类型报错的问题 ##

在我们读取Elasticsearch存储的半结构化的数据是，会遇到需要获取array类型的数据。然而会报错，错误截图如下：

![image][]

*  es.read.field.as.array.include

通过`es.read.field.as.array.include`指定array类型，防止报错。代码如下：

from pyspark.sql import SparkSession
    
    if __name__ == '__main__':
        spark = SparkSession.builder \
            .appName("SparkOnEs") \
            .master("local") \
            .config('spark.jars.packages', 'org.elasticsearch:elasticsearch-spark-20_2.11:6.5.2') \
            .getOrCreate()
    
        df = spark.read.format("org.elasticsearch.spark.sql") \
            .option("es.nodes", "localhost") \
            .option("es.port", "9200") \
            .option("es.read.field.as.array.include", "sons") \
            .load("test/info")
    
        df.printSchema()
        df.registerTempTable("tmp")
    
        df2 = spark.sql("select * from tmp")
        df2.show()
    
        spark.stop()

结果如图：

![image][image 1]

es参数参考：

[ES Configuration][]

--------------------

除此之外，如果在es插入数据时，如果存在字段有空对象\{\}或空集合\[\]的时，需要注意，可能会导致报错。

[image]: /images/20220303/f2e7b03fffa04f17ae235bb5974e5b01.png
[image 1]: /images/20220303/d708eea6c5c24701844346dbbf02e722.png
[ES Configuration]: https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark 报错

maven打包时报错：报错信息： "D:\Program Files\Java\jdk1.8.0_131\bin\java" -Dmaven.multi...

Bertha 。/ 2024年04月20日 09:09/ 0 赞/ 64 阅读

相关 Scala Spark报错 task not serializable的解决办法

* 更新时间：2019-08-29 错误描述今天在写spark程序时，遇到task not serializable的报错，提示task未进行序列化。在...

你的名字/ 2024年04月17日 18:20/ 0 赞/ 48 阅读

相关 spark spark-shell报错

相关版本：spark-1.6.0-cdh5.7.0 ![70][] spark-shell --master yarn --jars /home/hadoo

柔光的暖阳◎/ 2024年02月18日 18:25/ 0 赞/ 30 阅读

相关记录一次Spark SQL的map类型报错

记录一次Spark SQL的map类型报错今天在做一个需求的时候，提交代码测试运行总是在一个任务节点挂掉，报错信息如下： SparkSQLCLIDriver:

约定不等于承诺〃/ 2023年10月04日 17:45/ 0 赞/ 18 阅读

相关解决OpenCV读取视频结束后报错的问题

最近由于项目的需要，经常需要使用opencv读视频操作，会经常遇到一个问题，就是视频读完之后会出现报错的情况，虽然不影响代码结果，但是对于吹毛求疵的我实在忍受不了。会报错的

比眉伴天荒/ 2022年09月11日 08:23/ 0 赞/ 151 阅读

相关 [解决问题] pandas读取csv文件报错OSError解决方案

\[解决问题\] pandas读取csv文件报错OSError解决方案参考文章： [（1）\[解决问题\] pandas读取csv文件报错OSError解决方案][1_

朴灿烈づ我的快乐病毒、/ 2022年09月08日 15:55/ 0 赞/ 164 阅读

相关 Spark读取Hbase报错总结

1 : 发生空指针异常，但是最终任务还是运行成功。 java.lang.RuntimeException: java.lang.NullPointerException

迈不过友情╰/ 2022年05月22日 09:27/ 0 赞/ 268 阅读

相关 spark troubleshooting之解决序列化导致的报错

用client模式去提交spark作业，观察本地打印出来的log。如果出现了类似Serializable等等字眼，报错的log，那么就遇到了序列化问题导致的报错，这种报错是

叁歲伎倆/ 2022年05月19日 03:16/ 0 赞/ 146 阅读

相关解决Spark 读取 Elasticsearch的array类型报错的问题

解决Spark 读取 Elasticsearch的array类型报错的问题在我们读取Elasticsearch存储的半结构化的数据是，会遇到需要获取array类型的数据

爱被打了一巴掌/ 2022年03月06日 10:20/ 0 赞/ 218 阅读

相关 elasticsearch常见的几个报错解决方案

（1）max file descriptors \[65535\] for elasticsearch process is too low, increase to at l

末蓝、/ 2021年11月23日 01:50/ 0 赞/ 474 阅读