基于Java实现的hadoop倒排索引

落日映苍穹つ 2024-04-06 10:44 35阅读 0赞

## hadoop倒排索引 ##

![在这里插入图片描述][922ce8a5a686403da25b5fcc929d19a5.png]

Map和 Reduce的设计思路（含 Map、Reduce阶段的 K、V类型）

### 基本要求与排序 ###

因为两者代码具有关联性，故放在一起说。

首先在基本要求中，Map 我们对于输入的文件每句进行切割，将单词与文件名作为（text）key，并且对每个词设置词频 1（text）。

接下来在 combiner 中，我们统计每个单词的 value 并加起来为 sum，并把原来 key 中的文件名剥离出来与sum 合并为新的 value（text），把单词设为 key（text）。

最后在 reduce 中，我们对每个词的 value 用“：”，“.“进行分割，抽取每个文件中出现的词频，同时统计出现文件个数，计算出词频加入在 value 的前面，作为新的 value，key 不变。并将结果输入到临时文件。

新建一个排序 job，将零时文件作为输入，其 map 中，我们将输入每一行进行切割，将词频作为 key（double），其他的作为 value（包含文件名等），并且重载 DoubleWritableDecreasingComparator 类，进行从小到大排序，之后进行输出即可。

计算TF—IDF

首先，我们将我们前一步的任务输出作为文件输入，在 Map 中，我们首先用空格分割后，统计一个词在后面几本书内出现了，并通过已知的书总数计算出每个词的 IDF（double），并把每个本书的作者，词，书名（空格分割），作为 key（text），词频与之前计算出的 IDF 做为 value（text）。

接下来我们在 combiner 中，我们把 key 重新设定为作者，词，去掉书名。

在 reduce 中，我们统计每个作者使用的词后面 value 中书加使用次数，我们把每个这个作者的这个词使用次数相加获得 TF，并把词，作者作为 key（text），TF\*TDF 做为 value（double）。最后输出结果即可。

MapReduce中 Map和 Reduce的伪代码

### 倒排索引代码讲解 ###

Map：

![在这里插入图片描述][f2ec5685aa5a4dd182ec1fbe3863b1a4.png]  
![在这里插入图片描述][0dd1c215d13f4b7795bfb64947ec2cee.png]

Combine：

Reduce：

添加排序的倒排索引伪代码

本任务需要直接对第一个任务的生成文件进行 map 操作，同时排序需要用到 hadoop 提供的setSortComparator 方法来实现。同时升序排列的实现需要重写 hadoop 提供的 comparator 类，将排列顺序调换。

Map：

![在这里插入图片描述][c7c31366c7a04462b98e2867814b043e.png]

![在这里插入图片描述][0f3e7b521a88402490e15f75ad6d27e3.png]

计算IF-IDF的倒排索引伪代码

本任务需要直接对第一个任务的生成文件进行 map 操作。

Map：

Combine：

![在这里插入图片描述][91a973fa9b264bf3aa4532effb46685f.png]  
![在这里插入图片描述][fe340d48d98545e0819347dbc9290d68.png]  
![在这里插入图片描述][aa7131f5bd40424490840f5387e490b7.png]

Reduce：

输出结果文件的部分截图及其在 HDFS上的路径

必做任务输出文件截图

截图如 Fig1，其文件路径为：/home/2016st26/res

Fig1 输出文件部分结果

选做任务1输出文件截图

截图如 Fig2，路径为：/home/2016st26/output

![在这里插入图片描述][55ddb90b9b5d4fc58e9d9b129c8f36ec.png]  
![在这里插入图片描述][8413a8c3d69f472a84e3996db6158323.png]

Fig2 输出文件部分结果

选做任务2输出文件截图

截图如 Fig3，路径为：/home/2016st26/TF-IDF

Fig2 输出文件部分结果

![在这里插入图片描述][27bb1ff7e8864f7887158164d3b54bd1.png]  
![在这里插入图片描述][8e674e67ed0c4138a8cff90c975b1385.png]  
![在这里插入图片描述][5d18f1e643fe43f79256b7585e812ff3.png]

![在这里插入图片描述][2e0c58ecfddf4dcebadd62a031b2f963.png]

“江湖”、“风雪”两个单词的输出结果

江湖

风雪

Fig4 输出结果

Mapreduce集群执行报告及截图

### 执行报告 ###

必做任务执行截图：

Fig5 输出文件路径截图

![在这里插入图片描述][8dea312bdce0402fbcaf64ad21bea120.png]

![在这里插入图片描述][afd31cb8f148422ca7de041ddf9ac105.png]  
![在这里插入图片描述][3f525f4804cb46ec845376e7937b8eb8.png]  
![在这里插入图片描述][223fdbaad19543b78d0592dd45c9b583.png]

选做任务1执行截图：

Fig6 输出文件路径截图

选做任务2执行截图：

Fig7 输出文件路径截图

References:  
http://www.tuicool.com/articles/EZf2Q3 PCA 与 LDA 比较

5807)\]

选做任务1执行截图：

Fig6 输出文件路径截图

选做任务2执行截图：

Fig7 输出文件路径截图

References:  
http://www.tuicool.com/articles/EZf2Q3 PCA 与 LDA 比较

[922ce8a5a686403da25b5fcc929d19a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6b6b1ac7b1ee45e7bdf96ea0ce630fb9.png
[f2ec5685aa5a4dd182ec1fbe3863b1a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a97a79d27a7e45f0872d838241e917f0.png
[0dd1c215d13f4b7795bfb64947ec2cee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9f40872808e8437688424dddc29450ac.png
[c7c31366c7a04462b98e2867814b043e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7eb2966bc0904ccd933e187aafa859c0.png
[0f3e7b521a88402490e15f75ad6d27e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/92b24ed9456e446a935eb3824afbb39b.png
[91a973fa9b264bf3aa4532effb46685f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6e7b04a05e5048c2bd8a2548203e85e1.png
[fe340d48d98545e0819347dbc9290d68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/42eb1da02a2b47c0835fb02a0ff0c44d.png
[aa7131f5bd40424490840f5387e490b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5dd629ad0f6846bb91eb1c5a3be8857d.png
[55ddb90b9b5d4fc58e9d9b129c8f36ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/abb46d023ab344e58fc7d28733fd7f9f.png
[8413a8c3d69f472a84e3996db6158323.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/6b0054278a004f57890376e4dbb2745f.png
[27bb1ff7e8864f7887158164d3b54bd1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0326c517aa854613a2f3fe70af8ec865.png
[8e674e67ed0c4138a8cff90c975b1385.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4a4b2084152a421b87f01b5c0870bccf.png
[5d18f1e643fe43f79256b7585e812ff3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4f7889c679ed47159c09132331c5644a.png
[2e0c58ecfddf4dcebadd62a031b2f963.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4a518bb7116b4057a7ba7623abf621fa.png
[8dea312bdce0402fbcaf64ad21bea120.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/82a6296b73694c90b70fe0c077991e72.png
[afd31cb8f148422ca7de041ddf9ac105.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/715173d0ff5843fb8db3e7732816c796.png
[3f525f4804cb46ec845376e7937b8eb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/763de25ed0d748928dc48086c7bd5886.png
[223fdbaad19543b78d0592dd45c9b583.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/16d5a47c42174e21bae61c271d8ef52c.png