Apache Spark 2.4 新增内置函数和高阶函数使用介绍

你的名字 2021-09-18 02:20 697阅读 0赞

Apache Spark 2.4 新增了24个内置函数和5个高阶函数，本文将对这29个函数的使用进行介绍。关于 Apache Spark 2.4 的新特性。

![16c3a1aa9d824e449a794faf4672eaa5][]

### **针对数组类型的函数** ###

### array\_distinct ###

*array\_distinct(array<T>): array<T>* ：从给定数组中删除重复值。使用如下：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_distinct(array(1, 2, 3, </code><code>null</code><code>, 3));</code></p> <p>&nbsp;</p> <p><code>[1,2,3,</code><code>null</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_intersect ###

*array\_intersect(array<T>, array<T>): array<T>*：返回给定两个数组元素的交集，结果已经去重了。使用如下：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_intersect(array(1, 2, 3), array(1, 3, 5));</code></p> <p>&nbsp;</p> <p><code>[1,3]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_union ###

*array\_union(array<T>, array<T>): array<T>*：返回给定两个数组元素的并集，结果已经去重了。使用如下：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_union(array(1, 2, 3), array(1, 3, 5));</code></p> <p>&nbsp;</p> <p><code>[1,2,3,5]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_except ###

*array\_except(array<T>, array<T>): array<T>*：返回只在数组1而不在数组2的元素，结果已经去重了。使用如下：

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_except(array(1, 2, 3), array(1, 3, 5));</code></p> <p>&nbsp;</p> <p><code>[2]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_join ###

*array\_join(array<String>, String\[, String\]): String*：使用分隔符将数组的元素进行拼接。另外，我们还可以指定可选的字符来替换 null 值。如果我们没有指定 null 值的替换字符串，那么结果中将会把 null 值替换掉。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_join(array(</code><code>'hello'</code><code>, </code><code>'world'</code><code>), </code><code>' '</code><code>);</code></p> <p>&nbsp;</p> <p><code>hello world</code></p> <p><code>SELECT</code> <code>array_join(array(</code><code>'hello'</code><code>, </code><code>null</code> <code>,</code><code>'world'</code><code>), </code><code>' '</code><code>);</code></p> <p>&nbsp;</p> <p><code>hello world</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>array_join(array(</code><code>'hello'</code><code>, </code><code>null</code> <code>,</code><code>'world'</code><code>), </code><code>' '</code><code>, </code><code>','</code><code>);</code></p> <p>&nbsp;</p> <p><code>hello , world</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_max ###

*array\_max(array<T>): T*：返回数组中的最大值， null 元素将会被忽略。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_max(array(1, 20, </code><code>null</code><code>, 3));</code></p> <p>&nbsp;</p> <p><code>20</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_min ###

*array\_min(array<T>): T*：返回数组中的最小值， null 元素将会被忽略。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_max(array(1, 20, </code><code>null</code><code>, 3));</code></p> <p>&nbsp;</p> <p><code>1</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_position ###

*array\_position(array<T>, T): Long*：返回元素 T 在数组第一次出现的位置，从1开始算。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_position(array(3, 2, 1), 1);</code></p> <p>&nbsp;</p> <p><code>3</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_remove ###

*array\_remove(array<T>, T): array<T>*：从给定数组中删除所有与给定元素相等的元素。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_remove(array(1, 2, 3, </code><code>null</code><code>, 3), 3);</code></p> <p>&nbsp;</p> <p><code>[1,2,</code><code>null</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### arrays\_overlap ###

*arrays\_overlap(array<T>, array<T>): array<T>*：如果数组1最少包含数组2中一个非空的元素，则返回 true；如果两个数组没有公共元素，而且两个数组均为空则返回 false，如果其中任何一个数组包含 null 元素则返回 null。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>arrays_overlap(array(1, 2, 3), array(3, 4, 5));</code></p> <p>&nbsp;</p> <p><code>true</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_sort ###

*array\_sort(array<T>): array<T>*：按升序对输入数组进行排序。输入数组的元素必须是可排序的。null 元素将放置在返回数组的末尾。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_sort(array(</code><code>'b'</code><code>, </code><code>'d'</code><code>, </code><code>null</code><code>, </code><code>'c'</code><code>, </code><code>'a'</code><code>));</code></p> <p>&nbsp;</p> <p><code>[</code><code>"a"</code><code>,</code><code>"b"</code><code>,</code><code>"c"</code><code>,</code><code>"d"</code><code>,</code><code>null</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### concat ###

*concat(String, ...): String / concat(array<T>, ...): array<T>*：返回 col1，col2，...，colN 拼接的结果。此函数适用于字符串，二进制和数组。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>concat(</code><code>'Spark'</code><code>, </code><code>'SQL'</code><code>);</code></p> <p>&nbsp;</p> <p><code>SparkSQL</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>concat(array(1, 2, 3), array(4, 5), array(6));</code></p> <p>&nbsp;</p> <p><code>[1,2,3,4,5,6]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### flatten ###

*flatten(array<array<T>>): array<T>*：将数组的数组转换为数组。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>flatten(array(array(1, 2), array(3, 4)));</code></p> <p>&nbsp;</p> <p><code>[1,2,3,4]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_repeat ###

*array\_repeat(T, Int): array<T>*：返回包含元素计数次数的数组。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>array_repeat(</code><code>'123'</code><code>, 2);</code></p> <p>&nbsp;</p> <p><code>[</code><code>"123"</code><code>,</code><code>"123"</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### reverse ###

*reverse(String): String / reverse(array<T>): array<T>*：将字符串进行反转，或者将数组的元素顺序进行反转。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>reverse(</code><code>'Spark SQL'</code><code>);</code></p> <p>&nbsp;</p> <p><code>LQS krapS</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>reverse(array(2, 1, 4, 3));</code></p> <p>&nbsp;</p> <p><code>[3,4,1,2]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### sequence ###

*sequence(T, T\[, T\]): array<T>*：生成从 start 到 stop（包括）的元素数组，逐步递增。返回元素的类型与参数表达式的类型相同。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>sequence</code><code>(1, 5);</code></p> <p>&nbsp;</p> <p><code>[1,2,3,4,5]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>sequence</code><code>(5, 1);</code></p> <p>&nbsp;</p> <p><code>[5,4,3,2,1]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>sequence</code><code>(to_date(</code><code>'2018-01-01'</code><code>), to_date(</code><code>'2018-03-01'</code><code>), interval 1 </code><code>month</code><code>);</code></p> <p>&nbsp;</p> <p><code>[</code><code>"2018-01-01"</code><code>,</code><code>"2018-02-01"</code><code>,</code><code>"2018-03-01"</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### shuffle ###

*shuffle(array<T>): array<T>*：返回给定数组的随机排列。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>shuffle(array(1, 20, 3, 5));</code></p> <p>&nbsp;</p> <p><code>[3,5,1,20]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>shuffle(array(1, 20, </code><code>null</code><code>, 3));</code></p> <p>&nbsp;</p> <p><code>[</code><code>null</code><code>,3,20,1]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### slice ###

*slice(array<T>, Int, Int): array<T>*：从 start 索引位置开始从数组中截取 length 长度的子数组；如果 start 为负数，则从后面向前截取。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>slice(array(1, 2, 3, 4), 2, 2);</code></p> <p>&nbsp;</p> <p><code>[2,3]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>slice(array(1, 2, 3, 4), -2, 2);</code></p> <p>&nbsp;</p> <p><code>[3,4]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### array\_zip ###

*array\_zip(array<T>, array<U>, ...): array<struct<T, U, ...>>*：返回一个合并的结构数组，其中第N个结构包含输入数组的所有第N个值。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>arrays_zip(array(1, 2, 3), array(2, 3, 4));</code></p> <p>&nbsp;</p> <p><code>[{ </code><code>"0"</code><code>:1,</code><code>"1"</code><code>:2},{ </code><code>"0"</code><code>:2,</code><code>"1"</code><code>:3},{ </code><code>"0"</code><code>:3,</code><code>"1"</code><code>:4}]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>arrays_zip(array(1, 2), array(2, 3), array(3, 4));</code></p> <p>&nbsp;</p> <p><code>[{ </code><code>"0"</code><code>:1,</code><code>"1"</code><code>:2,</code><code>"2"</code><code>:3},{ </code><code>"0"</code><code>:2,</code><code>"1"</code><code>:3,</code><code>"2"</code><code>:4}]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 针对 map 类型的函数 ##

### map\_form\_arrays ###

*map\_form\_arrays(array<K>, array<V>): map<K, V>*：通过给定的 key value 数组对组合一个 map，key 不能包含 null 值。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>map_from_arrays(array(1.0, 3.0), array(</code><code>'2'</code><code>, </code><code>'4'</code><code>));</code></p> <p>&nbsp;</p> <p><code>{ </code><code>"1.0"</code><code>:</code><code>"2"</code><code>,</code><code>"3.0"</code><code>:</code><code>"4"</code><code>}</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### map\_from\_entries ###

*map\_from\_entries(array<struct<K, V>>): map<K, V>*：从结构体中返回一个 map。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>map_from_entries(array(struct(1, </code><code>'a'</code><code>), struct(2, </code><code>'b'</code><code>)));</code></p> <p>&nbsp;</p> <p><code>{ </code><code>"1"</code><code>:</code><code>"a"</code><code>,</code><code>"2"</code><code>:</code><code>"b"</code><code>}</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### map\_concat ###

*map\_concat(map<K, V>, ...): map<K, V>*：返回多个 map 的并集。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>map_concat(map(1, </code><code>'a'</code><code>, 2, </code><code>'b'</code><code>), map(2, </code><code>'c'</code><code>, 3, </code><code>'d'</code><code>));</code></p> <p>&nbsp;</p> <p><code>{ </code><code>"1"</code><code>:</code><code>"a"</code><code>,</code><code>"2"</code><code>:</code><code>"c"</code><code>,</code><code>"3"</code><code>:</code><code>"d"</code><code>}</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 针对数组和 map 类型的函数 ##

### element\_at ###

*element\_at(array<T>, Int): T / element\_at(map<K, V>, K): V*：对于数组，返回给定索引位置（从1开始算）在对应数组里面的值；如果 index < 0，则从后往前算；如果给定的索引大于数组的长度，则返回 null。对于 map，返回给定 key 对应的值；如果 map 中不包含这个 key，则返回 null。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>element_at(array(1, 2, 3), 2);</code></p> <p>&nbsp;</p> <p><code>2</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>element_at(map(1, </code><code>'a'</code><code>, 2, </code><code>'b'</code><code>), 2);</code></p> <p>&nbsp;</p> <p><code>b</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### cardinality ###

*cardinality(array<T>): Int / cardinality(map<K, V>): Int*：size 的别名。返回给定数组或 map 的大小；如果数组或 map 为 null，则返回 -1。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>cardinality(array(</code><code>'b'</code><code>, </code><code>'d'</code><code>, </code><code>'c'</code><code>, </code><code>'a'</code><code>));</code></p> <p>&nbsp;</p> <p><code>4</code></p> </td> 
  </tr> 
 </tbody> 
</table>

## 高阶函数 ##

### transform ###

*transform(array<T>, function<T, U>): array<U> 和 transform(array<T> function<T, Int, U>): array<U>*：使用给定函数转换数组中的元素。如果 lambda 函数有两个参数，则第二个参数代表这个元素的索引。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>transform(array(1, 2, 3), x -&gt; x + 1);</code></p> <p>&nbsp;</p> <p><code>[2,3,4]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>transform(array(1, 2, 3), (x, i) -&gt; x + i);</code></p> <p>&nbsp;</p> <p><code>[1,3,5]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### filter ###

*filter(array<T>, function<T, Boolean>): array<T>*：使用给定的谓词过滤给定数组的元素。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>filter(array(1, 2, 3), x -&gt; x % 2 == 1);</code></p> <p>&nbsp;</p> <p><code>[1,3]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### aggregate ###

*aggregate(array<T>, A, function<A, T, A>\[, function<A, R>\]): R*：将二元运算符应用于初始的 state 和数组中的所有元素，并返回单个值。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>aggregate(array(1, 2, 3), 0, (acc, x) -&gt; acc + x);</code></p> <p>&nbsp;</p> <p><code>6</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>aggregate(array(1, 2, 3), 0, (acc, x) -&gt; acc + x, acc -&gt; acc * 10);</code></p> <p>&nbsp;</p> <p><code>60</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### exists ###

*exists(array<T>, function<T, Boolean>): Boolean*：判断数组里面是否有元素符合给定谓词。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>exists(array(1, 2, 3), x -&gt; x % 2 == 0);</code></p> <p>&nbsp;</p> <p><code>true</code></p> </td> 
  </tr> 
 </tbody> 
</table>

### zip\_with ###

*zip\_with(array<T>, array<U>, function<T,U,R>): array<R>*：使用函数将两个给定数组（按元素）合并为单个数组。 如果其中一个数组较短，则在应用函数之前，在短数组的末尾附加 null 值以匹配较长数组的长度。

<table> 
 <tbody> 
  <tr> 
   <td> <p><code>SELECT</code> <code>zip_with(array(1, 2, 3), array(</code><code>'a'</code><code>, </code><code>'b'</code><code>, </code><code>'c'</code><code>), (x, y) -&gt; (y, x));</code></p> <p>&nbsp;</p> <p><code>[{ </code><code>"y"</code><code>:</code><code>"a"</code><code>,</code><code>"x"</code><code>:1},{ </code><code>"y"</code><code>:</code><code>"b"</code><code>,</code><code>"x"</code><code>:2},{ </code><code>"y"</code><code>:</code><code>"c"</code><code>,</code><code>"x"</code><code>:3}]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>zip_with(array(1, 2), array(3, 4), (x, y) -&gt; x + y);</code></p> <p>&nbsp;</p> <p><code>[4,6]</code></p> <p>&nbsp;</p> <p><code>SELECT</code> <code>zip_with(array(</code><code>'a'</code><code>, </code><code>'b'</code><code>, </code><code>'c'</code><code>), array(</code><code>'d'</code><code>, </code><code>'e'</code><code>, </code><code>'f'</code><code>), (x, y) -&gt; concat(x, y));</code></p> <p>&nbsp;</p> <p><code>[</code><code>"ad"</code><code>,</code><code>"be"</code><code>,</code><code>"cf"</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

[16c3a1aa9d824e449a794faf4672eaa5]: /images/20210724/052c295eac30443f8c7aeffeb9fef5c8.png