中文维基百科分类提取(jwpl)--构建知识图谱

你的名字 2021-11-14 12:12 476阅读 0赞

首先感谢 ：

1.https://blog.csdn.net/qq\_39023569/article/details/88556301

2.https://www.cnblogs.com/CherishFX/p/5280259.html

3.https://www.cs.bgu.ac.il/~elhadad/nlp12/jwpl/wikification.html

4.https://blog.csdn.net/Icy233333/article/details/80383336

一。中文维基数据准备。

https://dumps.wikimedia.org/zhwiki/latest/

选择：

LANGCODE\]wiki-\[DATE\]-pages-articles.xml.bz2  
　　\[LANGCODE\]wiki-\[DATE\]-pagelinks.sql.gz  
　　\[LANGCODE\]wiki-\[DATE\]-categorylinks.sql.gz

注：维基服务器限流，并且时不时会中断。可以直接使用linux 的 wget -c   https://xxxxxxxxxxxxxxxxxxxx 方式实现可断点续接的下载。

下载完后放在一个文件夹下。 我放在 F:\\zhwiki2019\\~  下。

二。下载JWPL DataMachine jar包解析数据文件

直接去maven库中下载整个jar-with-dependencies.jar。下载地址：http://search.maven.org/\#search|ga|1|tudarmstadt.ukp

搜索de.tudarmstadt.ukp.wikipedia.datamachine对应的[ jar-with-dependencies.jar][jar-with-dependencies.jar] 文件下载。

*　　下载后和数据放在同一目录下。*

三。打开cmd，cd到zhwiki2019目录下，输入以下命令解析。

java -cp jar-with-dependencies.jar de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine \[LANGUAGE\] \[MAIN\_CATEGORY\_NAME\] \[DISAMBIGUATION\_CATEGORY\_NAME\] \[SOURCE\_DIRECTORY\]

*　　其中，*

LANGUAGE: 指jwpl支持的语言，选择一个你下载的wikipedia语言，比如english, chinese  
　　　　MAIN\_CATEGORY\_NAME: 填写一个Wikipedia类别层次上属于顶层的类别，比如：Contents  
　　　　DISAMBIGUATION\_CATEGORY\_NAME: 填写一个有消歧类别的类别名，比如：Disambiguation\_pages  
　　　　SOURCE\_DIRECTORY: 上面三个wikipedia文件的目录，比如： ~/En2019  
　　我的命令：

java -Dfile.encoding=utf8  -cp de.tudarmstadt.ukp.wikipedia.datamachine-0.9.1-jar-with-dependencies.jar de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine chinese Contents Disambiguation\_pages ~/zhwiki2019

如果你的系统默认编码不是utf-8(比如windows), 可能需要再加一个参数：-Dfile.encoding=utf8；

*　　解析的时间看数据量的大小和你的cpu。之后会在output下生成11个txt.这11个txt就是之后要导入mysql的11个表。*

*　　这些文件的解释：*

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 category --> 类别信息
     2      pageId：类别ID，唯一
     3      name：类别名
     4 
     5 category_inlinks --> 指向类别的链接信息
     6      id：类别ID，不唯一
     7      inLinks：该类别父类ID，也就是指向该类别的类别ID
     8 
     9 category_outlinks --> 类别指向的链接信息 
    10      id：类别ID，不唯一
    11      outLinks：该类别子类ID，也就是该类别指向的那些类别的ID
    12 
    13 category_pages --> 页面与类别的关系表
    14      id：类别ID，不唯一
    15      pages：属于该类别ID的页面ID
    16 
    17 metadata --> 该wikipedia的一些元信息，只有一条记录
    18      language：语言
    19      disambiguationCategory：运行DataMachine填写的消歧类别
    20      mainCategory：运行DataMachine填写的顶层类别
    21      nrofPages：页面个数
    22      nrofRedirects：重定向个数
    23      nrofDisambiguationPages：消歧页面个数
    24      nrofCategories：类别个数
    25      version
    26 
    27 page --> 页面信息
    28      pageId：页面ID
    29      name：名字
    30      text：全文，包含wikimeida的标记信息
    31      isDisambiguation：是否是消岐页面
    32 
    33 page_categories -->  页面与类别的关系表与category_pages信息重复
    34 
    35 page_inlinks --> 指向页面的页面信息
    36      id：页面ID，不唯一
    37      inLinks：指向该页面ID的页面ID
    38 
    39 page_outlinks
    40      id：页面ID，不唯一
    41      outlinks：该页面ID指向的页面ID
    42 
    43 page_redirects
    44      id：页面ID，不唯一
    45      redirects：重定向到该页面ID的所有页面ID
    46 
    47 pagemapline --> 所有页面的title信息，处理重定向等有用处
    48      id：该页面ID
    49      name：页面title名字
    50      pageID：页面ID，如果该页面是重定向页面，该pageID是其指向的那个包含信息的页面ID
    51      stem：***暂无信息
    52      lemma：***暂无信息

*　　![1533646-20190720135337335-335181178.png][]*

*四。mysql 创建 库。(必须要mysql5.x版本。。我就是8.0.12失败找了原因重新下载了5.7.27版本的（错误：java.sql.SQLException: java.lang.ClassCastException: class java.math.BigInteger cannot be cast to ....）。jwpl通过C3P0来获得datasource.是获取datasource的阶段失败。)*

*　　1.  *创建数据库命令（数据库名DB\_NAME可以自行设定）：注意要保证创建的数据库的编码是utf-8

CREATE DATABASE [DB_NAME] DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

*　　　　我的DB\_NAME是zhwiki.*

*　　2.**创建所有的表，下载包含所有表结构的sql脚本：[jwpl\_tables.sql][jwpl_tables.sql]脚本，在mysql命令下执行改脚本：*

mysql> use [DB_NAME];
    mysql> source jwpl_tables.sql;  #注意jwpl_tables.sql所在的路径(可以cd 到jwpl_tables.sql的目录下直接输入这个命令。)

3.*因为我们的数据上传到数据库是存在mysql data目录下的，可以通过命令*

mysql>show global variables like "%datadir%"  
　　　　来查看你的数据库文件存放目录，我这里是在C盘，空间不够，所以需要修改data路径，将数据库data移到其他空间足够的盘，具体可以参考 https://blog.csdn.net/wangyan\_z/article/details/81089211

，来修改你的data路径，这里不过多说明。  
　　4，导入数据到mysql中

一个表一个表的导入，进入之前创建的用户的数据库

load data infile 'F:/zhwiki2019/output/Category.txt' into table category;

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 load data infile 'F:/zhwiki2019/output/Category.txt' into table category;
     2 
     3 load data infile 'F:/zhwiki2019/output/category_inlinks.txt' into table category_inlinks;
     4 
     5 load data infile 'F:/zhwiki2019/output/category_outlinks.txt' into table category_outlinks;
     6 
     7 load data infile 'F:/zhwiki2019/output/category_pages.txt' into table category_pages;
     8 
     9 load data infile 'F:/zhwiki2019/output/MetaData.txt' into table MetaData;
    10 
    11 load data infile 'F:/zhwiki2019/output/Page.txt' into table Page;
    12 
    13 load data infile 'F:/zhwiki2019/output/page_categories.txt' into table page_categories;
    14 
    15 load data infile 'F:/zhwiki2019/output/page_inlinks.txt' into table page_inlinks;
    16 
    17 load data infile 'F:/zhwiki2019/output/page_outlinks.txt' into table page_outlinks;
    18 
    19 load data infile 'F:/zhwiki2019/output/page_redirects.txt' into table page_redirects;
    20 
    21 load data infile 'F:/zhwiki2019/output/PageMapLine.txt' into table PageMapLine;

这里可能遇到mysql secure\_file\_priv问题。参考 [https://blog.csdn.net/qq\_35246620/article/details/78148505][https_blog.csdn.net_qq_35246620_article_details_78148505]

解决完后，因为我处理的是中文维基的数据。mysql会报错utf8转义的问题。我查了我的系统编码和mysql的编码（参考[https://bbs.csdn.net/topics/392478961][https_bbs.csdn.net_topics_392478961]），没有问题，只可能是数据的问题。打开后发现存在这样的数据：  B\\'z  ，因为B‘z是一个组合。所以去掉 \\  就没问题了。自己可以写个小程序去掉。(或者去修改数据库的编码，通过navicat去编辑zhwiki的属性，然后选择utfmmd64)

五。使用JWPL jar包去访问维基百科数据

1.直接去maven库中下载整个jar-with-dependencies.jar。下载地址：http://search.maven.org/\#search|ga|1|tudarmstadt.ukp  
搜索de.tudarmstadt.ukp.wikipedia.api对应的 [jar-with-dependencies.jar][jar-with-dependencies.jar 1] 文件，下载。

2.之后就是编码了。（ jwpl论文：[https://www.researchgate.net/publication/220745815\_Extracting\_Lexical\_Semantic\_Knowledge\_from\_Wikipedia\_and\_Wiktionary?ev=auth\_pub][https_www.researchgate.net_publication_220745815_Extracting_Lexical_Semantic_Knowledge_from_Wikipedia_and_Wiktionary_ev_auth_pub]）

论文中，说了工具主要以三个对象展开。直接给出代码。就可以看懂。

page对象:

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 import de.tudarmstadt.ukp.wikipedia.api.Category;
     2 import de.tudarmstadt.ukp.wikipedia.api.DatabaseConfiguration;
     3 import de.tudarmstadt.ukp.wikipedia.api.Page;
     4 import de.tudarmstadt.ukp.wikipedia.api.Title;
     5 import de.tudarmstadt.ukp.wikipedia.api.WikiConstants.Language;
     6 import de.tudarmstadt.ukp.wikipedia.api.Wikipedia;
     7 
     8 import static de.tudarmstadt.ukp.wikipedia.api.WikiConstants.LF;
     9 
    10 public class ShowPageInfo {
    11 
    12     public static void main(String[] args) throws Exception {
    13         // 数据库连接参数配置
    14         DatabaseConfiguration dbConfig = new DatabaseConfiguration();
    15         dbConfig.setHost("localhost");   //主机名
    16         dbConfig.setDatabase("wikidb");  //数据库名
    17         dbConfig.setUser("root");        //访问数据库的用户名
    18         dbConfig.setPassword("root");    //访问数据库的密码
    19         dbConfig.setLanguage(Language.english);
    20         // 创建Wikipedia处理对象
    21         Wikipedia wiki = new Wikipedia(dbConfig);
    22         String title = "Fruit";
    23         Page page = wiki.getPage(title);  
    24         // wikipedia页面的title
    25         System.out.println("Queried string       : " + title);
    26         System.out.println("Title                : " + page.getTitle());
    27         // 是否是消歧页面
    28         System.out.println("IsDisambiguationPage : " + page.isDisambiguation());       
    29         // 是否是重定向页面
    30         System.out.println("redirect page query  : " + page.isRedirect());       
    31         // 有多少个页面指向该页面
    32         System.out.println("# of ingoing links   : " + page.getNumberOfInlinks());       
    33         // 该页面指向了多少个页面
    34         System.out.println("# of outgoing links  : " + page.getNumberOfOutlinks());
    35         // 该页面属于多少个类别
    36         System.out.println("# of categories      : " + page.getNumberOfCategories());
    37         StringBuilder sb = new StringBuilder();
    38         // 页面的所有重定向页面
    39         sb.append("Redirects" + LF);
    40         for (String redirect : page.getRedirects()) {
    41             sb.append("  " + new Title(redirect).getPlainTitle() + LF);
    42         }
    43         sb.append(LF);       
    44         // 页面的所述的所有类别
    45         sb.append("Categories" + LF);
    46         for (Category category : page.getCategories()) {
    47             sb.append("  " + category.getTitle() + LF);
    48         }
    49         sb.append(LF);
    50         // 指向该页面的所有页面
    51         sb.append("In-Links" + LF);
    52         for (Page inLinkPage : page.getInlinks()) {
    53             sb.append("  " + inLinkPage.getTitle() + LF);
    54         }
    55         sb.append(LF);
    56         // 该页面指向的所有页面
    57         sb.append("Out-Links" + LF);
    58         for (Page outLinkPage : page.getOutlinks()) {
    59             sb.append("  " + outLinkPage.getTitle() + LF);
    60         }       
    61         System.out.println(sb);
    62     }
    63 }

运行的部分结果：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 Queried string       : Fruit
    2 Title                : Fruit
    3 IsDisambiguationPage : false
    4 redirect page query  : false
    5 # of ingoing links   : 4454
    6 # of outgoing links  : 811
    7 # of categories      : 10

category对象：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

运行结果：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 Title : Towns in Germany
     2 
     3 # super categories : 4
     4   Towns by country
     5   Commons category with local link same as on Wikidata
     6   Populated places in Germany
     7   Municipalities of Germany
     8 
     9 # sub categories : 16
    10   Towns in Rhineland-Palatinate
    11   Towns in Lower Saxony
    12   Towns in Saxony
    13   Towns in Mecklenburg-Vorpommern
    14   Towns in Saxony-Anhalt
    15   University towns in Germany
    16   Towns in Schleswig-Holstein
    17   Seaside resorts in Germany
    18   Towns in Baden-Württemberg
    19   Towns in Thuringia
    20   Towns in Hesse
    21   Towns in Saarland
    22   Towns in North Rhine-Westphalia
    23   Towns in Brandenburg
    24   Spa towns in Germany
    25   Towns in Bavaria
    26 
    27 # pages : 2
    28   Oberreichenbach
    29   Urfeld am Walchensee

其中，

Wikipedia 对象就是另一个主要的对象。page和categorty都要对这个对象进行访问，可以通过“单例模式”进行wikipedia的实例化。来节约资源，避免重复造轮子。

代码给出：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 public class WikipediaUtil {
     2     private static Wikipedia wiki = null;
     3 
     4     public static Wikipedia getWikipedia() {
     5         if (wiki == null) {
     6             synchronized (wiki) {
     7                 if (wiki == null) {
     8                     try {
     9                         DatabaseConfiguration dbconfig = new DatabaseConfiguration();
    10                         URL resource = WikipediaUtil.class.getClassLoader().getResource("zhwiki.properties");
    11                         String file = resource.getFile();
    12                         InputStream fileInputStream = new FileInputStream(file);
    13                         Properties properties = new Properties();
    14                         properties.load(fileInputStream);
    15                         dbconfig.setHost(properties.getProperty("host"));
    16                         dbconfig.setDatabase(properties.getProperty("db"));
    17                         dbconfig.setUser(properties.getProperty("user"));
    18                         dbconfig.setPassword(properties.getProperty("password"));
    19                         dbconfig.setLanguage(WikiConstants.Language.chinese);
    20                         wiki = new Wikipedia(dbconfig);
    21                     } catch (Exception e) {
    22                         e.printStackTrace();
    23                     }
    24                 }
    25             }
    26         }
    27         return wiki;
    28     }
    29 }

剩下的探索吧...欢迎评论一起进步。

转载于:https://www.cnblogs.com/dhName/p/11217606.html

[jar-with-dependencies.jar]: http://search.maven.org/remotecontent?filepath=de/tudarmstadt/ukp/wikipedia/de.tudarmstadt.ukp.wikipedia.datamachine/0.9.1/de.tudarmstadt.ukp.wikipedia.datamachine-0.9.1-jar-with-dependencies.jar
[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20211114/262bf0ed6be54964b7afcdbcdddd4ecd.png
[1533646-20190720135337335-335181178.png]: /images/20211114/fc32b903f0704a4c8057ca69abd0825f.png
[jwpl_tables.sql]: https://github.com/dkpro/dkpro-jwpl/blob/master/de.tudarmstadt.ukp.wikipedia.wikimachine/jwpl_tables.sql
[https_blog.csdn.net_qq_35246620_article_details_78148505]: https://blog.csdn.net/qq_35246620/article/details/78148505
[https_bbs.csdn.net_topics_392478961]: https://bbs.csdn.net/topics/392478961
[jar-with-dependencies.jar 1]: https://repo1.maven.org/maven2/de/tudarmstadt/ukp/wikipedia/de.tudarmstadt.ukp.wikipedia.api/1.0.0/de.tudarmstadt.ukp.wikipedia.api-1.0.0-jar-with-dependencies.jar
[https_www.researchgate.net_publication_220745815_Extracting_Lexical_Semantic_Knowledge_from_Wikipedia_and_Wiktionary_ev_auth_pub]: https://www.researchgate.net/publication/220745815_Extracting_Lexical_Semantic_Knowledge_from_Wikipedia_and_Wiktionary?ev=auth_pub