面试时如何从一篇文章里找到正好出现100次的那个单词？

╰半夏微凉° 2022-04-10 03:44 50阅读 0赞

找到大于100的单词更简单，加一个filter，x.\_2表示第二个元素大于5，即出现超过5次的。

scala> val wc = sc.textFile("file:///home/liugen/3.txt").flatMap(line=>line.split(",")).map(w=>(w,1)).reduceByKey(\_+\_).filter(x=>x.\_2>5)

wc.collect //获取所有出现次数超过100的单词

![20181224171253438.png][]

词频统计

val wc = sc.textFile("file:///home/liugen/3.txt").flatMap(line=>line.split(",")).map(w=>(w,1)).reduceByKey(\_+\_).map(x=>x.swap).sortByKey(false).map(x=>x.swap).take(10)

首先说下如何通过spark做词频统计，可以说是非常简单了。就是这句话。

![2018122416421194.png][]

第一步，获取每一行，spark里面每一步都会形成一个RDD数据集，还会自动分片。我们可以通过执行语句的每一步

来理解是在做什么。比如通过take(2)获取前两行的结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70][]

第二步，按逗号分开，每一行变成一个字符串数组。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 1][]

第三步，flatmap

flatmap相当于先通过map把字符串数组里的元素分离之后，再合并为一个整体的list来返回。多了一个整理成list的过程。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 2][]

第4步和第5步，配对 每个w配上1来计数。

然后reduceByKey，也就是按key来对value进行相加。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 3][]

第6步，交换key和value的位置

![20181224165924676.png][]

第7步和第8步，按key排序，false表示降序。默认是升序。因为只有key可以排序，所以我们交换之后，排完序号，再

给它换回来。

第二次swap。

这样按值降序的词频统计就完成了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 4][]

map函数的用法，顾名思义，将一个函数传入map中，然后利用传入的这个函数，将集合中的每个元素处理，并将处理后的结果返回。而flatMap与map唯一不一样的地方就是传入的函数在处理完后返回值必须是List，其实这也不难理解，既然是flatMap，那除了map以外必然还有flat的操作，所以需要返回值是List才能执行flat这一步。

[20181224171253438.png]: /images/20220403/90b5118f5fe4402ebbdf8b0b753d54e9.png
[2018122416421194.png]: /images/20220403/c3fd052e11c141d487d6cddf407ce2de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70]: /images/20220403/e5c89d4a480e4d9791dd9c2064c5581b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 1]: /images/20220403/a0f05748969a4172b67c69c1231dd539.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 2]: /images/20220403/1eb1ede14f774c5eacf1c814375c2a36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 3]: /images/20220403/3f97760126fc4d4ca7e941668e1fd08b.png
[20181224165924676.png]: /images/20220403/6d543a7021524da39bf4fd480a193818.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE0OTU2NDI_size_16_color_FFFFFF_t_70 4]: /images/20220403/d06cc0722bc74ba2a86021d8a756dd8a.png