中文实体标注平台

r囧r小猫 2023-06-04 15:59 46阅读 0赞

https://www.cnblogs.com/combfish/p/7830807.html

发现了一款比较方便标注的工具 [https://github.com/jiesutd/SUTDAnnotator][https_github.com_jiesutd_SUTDAnnotator] ，使用python2编写的界面，相对比较轻量，适合个人使用。但如果是团体使用的，还是web界面的会比较好。

运行Annotator\_backup.py得到如下界面：open导入文件,选中要标注的词语，按下已设定好的快捷键A-V，即可完成对应的标注

![985935-20171114090331562-1500946705.png][]

修改添加上自己所需的实体名：在对应的快捷键的右边输入实体名，按下remap按钮即可重新分配快捷键对应的实体名

导出结果：export

![985935-20171114090331843-1492051844.png][]

![985935-20171114090332484-1580091371.png][]

其他更详细的操作参照github中的描述

将标注好的ann文件转成常用的训练样本的格式，以下有python3实现

![985935-20171114090332749-524715598.png][]

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> 
    <div>
      34 
    </div> 
    <div>
      35 
    </div> 
    <div>
      36 
    </div> 
    <div>
      37 
    </div> 
    <div>
      38 
    </div> 
    <div>
      39 
    </div> 
    <div>
      40 
    </div> 
    <div>
      41 
    </div> 
    <div>
      42 
    </div> 
    <div>
      43 
    </div> 
    <div>
      44 
    </div> 
    <div>
      45 
    </div> 
    <div>
      46 
    </div> 
    <div>
      47 
    </div> 
    <div>
      48 
    </div> 
    <div>
      49 
    </div> 
    <div>
      50 
    </div> 
    <div>
      51 
    </div> 
    <div>
      52 
    </div> 
    <div>
      53 
    </div> 
    <div>
      54 
    </div> 
    <div>
      55 
    </div> 
    <div>
      56 
    </div> 
    <div>
      57 
    </div> 
    <div>
      58 
    </div> 
    <div>
      59 
    </div> 
    <div>
      60 
    </div> 
    <div>
      61 
    </div> 
    <div>
      62 
    </div> 
    <div>
      63 
    </div> 
    <div>
      64 
    </div> 
    <div>
      65 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>import</code>&nbsp; 
      <code>re</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code># txt2ner_train_data turn label str into ner trainable data</code> 
     </div> 
     <div> 
      <code># s :labeled str&nbsp; eg.'我来到[@1999年#YEAR*]的[@上海#LOC*]的[@东华大学#SCHOOL*]'</code> 
     </div> 
     <div> 
      <code># save_path: ner_trainable_txt name</code> 
     </div> 
     <div> 
      <code>def</code>&nbsp; 
      <code>str2ner_train_data(s,save_path):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>[]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>result_1&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>re.finditer(r</code> 
      <code>'\[\@'</code> 
      <code>, s)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>result_2&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>re.finditer(r</code> 
      <code>'\*\]'</code> 
      <code>, s)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>begin&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>[]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>end&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>[]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>each&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>result_1:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>begin.append(each.start())</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>each&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>result_2:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>end.append(each.end())</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>assert</code>&nbsp; 
      <code>len</code> 
      <code>(begin)&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>len</code> 
      <code>(end)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>i&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>0</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>j&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>0</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>while</code>&nbsp; 
      <code>i &lt;&nbsp;</code> 
      <code>len</code> 
      <code>(s):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>not</code>&nbsp; 
      <code>in</code>&nbsp; 
      <code>begin:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([s[i],&nbsp;</code> 
      <code>0</code> 
      <code>])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>i&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>i&nbsp;</code> 
      <code>+</code>&nbsp; 
      <code>1</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>else</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ann&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>s[i&nbsp;</code> 
      <code>+</code>&nbsp; 
      <code>2</code> 
      <code>:end[j]&nbsp;</code> 
      <code>-</code>&nbsp; 
      <code>2</code> 
      <code>]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>entity, ner&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>ann.rsplit(</code> 
      <code>'#'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>(</code> 
      <code>len</code> 
      <code>(entity)&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>1</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity,&nbsp;</code> 
      <code>'S-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>else</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>if</code>&nbsp; 
      <code>(</code> 
      <code>len</code> 
      <code>(entity)&nbsp;</code> 
      <code>=</code> 
      <code>=</code>&nbsp; 
      <code>2</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity[</code> 
      <code>0</code> 
      <code>],&nbsp;</code> 
      <code>'B-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity[</code> 
      <code>1</code> 
      <code>],&nbsp;</code> 
      <code>'E-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>else</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity[</code> 
      <code>0</code> 
      <code>],&nbsp;</code> 
      <code>'B-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>n&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>range</code> 
      <code>(</code> 
      <code>1</code> 
      <code>,&nbsp;</code> 
      <code>len</code> 
      <code>(entity)&nbsp;</code> 
      <code>-</code>&nbsp; 
      <code>1</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity[n],&nbsp;</code> 
      <code>'I-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>ner_data.append([entity[</code> 
      <code>-</code> 
      <code>1</code> 
      <code>],&nbsp;</code> 
      <code>'E-'</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>ner])</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>i&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>end[j]</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>j&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>j&nbsp;</code> 
      <code>+</code>&nbsp; 
      <code>1</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>open</code> 
      <code>(save_path,&nbsp;</code> 
      <code>'w'</code> 
      <code>, encoding</code> 
      <code>=</code> 
      <code>'utf-8'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>each&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>ner_data:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.write(each[</code> 
      <code>0</code> 
      <code>]&nbsp;</code> 
      <code>+</code>&nbsp; 
      <code>' '</code>&nbsp; 
      <code>+</code>&nbsp; 
      <code>str</code> 
      <code>(each[</code> 
      <code>1</code> 
      <code>]))</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.write(</code> 
      <code>'\n'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.close()</code> 
     </div> 
     <div> 
      <code># txt2ner_train_data turn label str into ner trainable data</code> 
     </div> 
     <div> 
      <code># file_path :labeled multi lines' txt&nbsp; eg.'我来到[@1999年#YEAR*]的[@上海#LOC*]的[@东华大学#SCHOOL*]'</code> 
     </div> 
     <div> 
      <code># save_path: ner_trainable_txt name</code> 
     </div> 
     <div> 
      <code>def</code>&nbsp; 
      <code>txt2ner_train_data(file_path,save_path):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>fr</code> 
      <code>=</code> 
      <code>open</code> 
      <code>(file_path,</code> 
      <code>'r'</code> 
      <code>,encoding</code> 
      <code>=</code> 
      <code>'utf-8'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>lines</code> 
      <code>=</code> 
      <code>fr.readlines()</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>s</code> 
      <code>=</code> 
      <code>''</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code>&nbsp; 
      <code>line&nbsp;</code> 
      <code>in</code>&nbsp; 
      <code>lines:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>line</code> 
      <code>=</code> 
      <code>line.replace(</code> 
      <code>'\n'</code> 
      <code>,'')</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>line</code> 
      <code>=</code> 
      <code>line.replace(</code> 
      <code>' '</code> 
      <code>,'')</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>s</code> 
      <code>=</code> 
      <code>s</code> 
      <code>+</code> 
      <code>line</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>fr.close()</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>str2ner_train_data(s, save_path)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>if</code> 
      <code>(__name__</code> 
      <code>=</code> 
      <code>=</code> 
      <code>'__main__'</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>s&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>'我来到[@1999年#YEAR*]的[@上海#LOC*]的[@东华大学#SCHOOL*]'</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>save_path&nbsp;</code> 
      <code>=</code>&nbsp; 
      <code>'s.txt'</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>str2ner_train_data(s, save_path)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>file_path</code> 
      <code>=</code> 
      <code>'D:\\codes\\python_codes\\SUTDAnnotator-master\\demotext\\ChineseDemo.txt.ann'</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>txt2ner_train_data(file_path,</code> 
      <code>'s1.txt'</code> 
      <code>)</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

![1432127-20190904152436354-457324853.jpg][]

转载于:https://www.cnblogs.com/jfdwd/p/11459391.html

[https_github.com_jiesutd_SUTDAnnotator]: https://github.com/jiesutd/SUTDAnnotator
[985935-20171114090331562-1500946705.png]: /images/20230601/312bc75a4cdb4fb99d6592ea37ba9c24.png
[985935-20171114090331843-1492051844.png]: /images/20230601/408ac475d69d429ea3caa53c10eeab0c.png
[985935-20171114090332484-1580091371.png]: /images/20230601/0673dd0e8ed741058d02870a052849bd.png
[985935-20171114090332749-524715598.png]: /images/20230601/41d8c110ca8d48d2ba540ec22240e6c8.png
[1432127-20190904152436354-457324853.jpg]: /images/20230601/3dade18fb4834692a189da313e52af4c.png