word2vec复现（pytorch）用到的知识点总结

秒速五厘米 2023-02-17 12:29 43阅读 0赞

1 读入文件：

with open(r"D:\pycharm\vedio\text8.train.txt", 'r') as fin:
        text = fin.read()

2 分词的两种方法：

text = text.split()

def word_tokenize(text):
        return text.split()
    text = [w for w in word_tokenize(text.lower())]

两种方法结果都是返回一个元素为单词的list  
![在这里插入图片描述][20200614104434781.png]  
3 创建字典  
Counter:Counter 集成于 dict 类，因此也可以使用字典的方法，此类返回一个以元素为 key 、元素个数为 value 的 Counter 对象集合  
![在这里插入图片描述][20200614103717687.png]  
参考：https://www.cnblogs.com/pinsily/p/7906107.html  
所以这里返回的就是以单词为key，单词出现次数为values的字典  
4 .most\_common（n）方法：一般结合Counter（）使用，统计出现次数最高的n个词，返回以元素和次数组成的**二元组**的**list**。示例：  
![在这里插入图片描述][20200614104009691.png]  
参考：https://blog.csdn.net/zyx\_ly/article/details/88202672  
5 dict()创建字典：这里只叙述以二元组list的方式创建的字典  
![在这里插入图片描述][20200614104224188.png]

参考：https://www.jb51.net/article/157029.htm

综上，代码可以写为：

vocab = dict(Counter(text).most_common(MAX_VOCAB_SIZE-1))

其中MAX\_VOCAB\_SIZE为最大词的个数，之所以要减一是因为要把其他的（不常见的）词归为一类，放在词汇表中  
![在这里插入图片描述][20200614104416130.png]  
给字典添加新的键值对：这里用“”代表不常见词，它的values即所有词出现的总次数len(text)-dict中出现的词的总次数  
6 len(text)：统计list中所有元素的个数（不去重）  
7 dict.values（）方法：返回以字典中所有key的values组成的**list**

print(vocab.values())

![在这里插入图片描述][20200614110638475.png]  
8 列表求和：  
这里犯了一个错误，np.sum（）的参数是一个list，但上述list直接放进去是不行的，即`print(np.sum(vocab.values()))`是错的，返回结果仍跟上述一样，需要修改为：`print(np.sum(list(vocab.values())))`  
**必须先把上面的结果转list**具体原因我不太懂，希望有了解的人解释下~  
9 给字典添加新键值对的方法：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70]  
参考：https://www.runoob.com/python/python-dictionary.html

vocab["<unk>"] = len(text)-np.sum((list(vocab.values())))
    print(vocab)

现在看一下结果，后面已经多了一个key-values对  
![在这里插入图片描述][20200614111622493.png]  
10 enumerate迭代器：参数是一个**list**或元组或其他可迭代对象，返回（索引，元素）构成的枚举对象（以循环访问）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 1]  
参考：https://www.runoob.com/python/python-func-enumerate.html  
11 通过字典推导式创建字典：  
![在这里插入图片描述][20200614114334856.png]  
现在我们要获得  
idx\_to\_word：一个由字典中所有key组成的**list**  
word\_to\_idx：形式为word:idx的**字典**

idx_to_word = list(vocab.keys())  # 另一种写法：[word for word in vocab.keys()] 
    print(idx_to_word)

![在这里插入图片描述][20200614114611618.png]

word_to_idx = {
        word:i for i, word in enumerate(idx_to_word)}
    print(word_to_idx)

![在这里插入图片描述][20200614114638730.png]  
12 统计词频：

word_counts = np.array([value for value in vocab.values()])
    word_freqs = word_counts/np.sum(word_counts)
    word_freqs = word_freqs**(3./4.)
    word_freqs = word_freqs/np.sum(word_freqs)
    print(word_freqs)

原文中有提到要变成原来的3./4.次幂  
![在这里插入图片描述][20200614115627122.png]

VOCAB_SIZE = len(idx_to_word)
    print(VOCAB_SIZE)

结果应该与之前定义的MAX\_VOCAB\_SIZE一样

13 在后面神经网络的训练过程中，我们需要将词语编码成数字，即word\_to\_idx字典中，每个词为key，索引为value，于是我们就用这个索引指代这个词汇，后面center\_words,pos\_words,neg\_words都不再指代实际文本，而是索引数字  
为了提取这个结果需要dict.get（）方法：dict.get(key, default=None) 返回指定键的值，如果值不在字典中返回默认值None。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 2]  
参考：https://www.runoob.com/python/att-dictionary-get.html  
所以就用`[word_to_idx.get(t, VOCAB_SIZE-1) for t in text]`来获取索引**list**当t在字典word\_to\_idx中时，返回对应的索引，如果不在，则返回“”对应的索引（索引从0开始，所以unk对应VOCAB\_SIZE-1）

14 合并两个list：可以直接用+  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 3]  
参考：https://www.jb51.net/article/142724.htm

15 pytorch中将np.array和list 转成tensor都可以使用`torch.Tensor(x)`  
16

neg_words = torch.multinomial(self.word_freqs, K * pos_words.shape[0], True)

self.word\_freqs是按照这个取样，取样K \* pos\_words.shape\[0\]次，即对每一个正确的周围词都要采样K个负样本，True指有放回采样

17 pandas的index属性：对于一个dataframe,返回行索引  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 4]

import pandas as pd
    
    df = pd.read_csv(r"D:\jupyter_learn\pytorch\simlex-999.txt")
    list = [i for i in df.iloc[:, 0:2].index]
    print(list)

![在这里插入图片描述][20200614200825231.png]  
如果需要遍历一个dataframe可以用：

for i in df.iloc[:, 0:2].index
    	word1,word2 = df.iloc[i,0], df.iloc[i,1]

18 二维数组索引某一行：`word1_embed, word2_embed = embedding_weights[[word1_idx]], embedding_weights[[word2_idx]]`

19 sklearn.metrics.pairwise.cosine\_similarity（word1, word2）计算余弦相似度：  
要求输入必须为2维的。上面的embedding\_weights这个权重矩阵是np.array（二维），在取索引时使用了\[\[\]\]的方式，最后获得的array应该是二维的，举个例子：

a = np.array([[0.1, 0.2, 0.3, 0.4], [0.5, 0.6, 0.7, 0.8]])
    print(type(a))
    print(a)

![在这里插入图片描述][20200614205448565.png]

word1 = a[[0]]
    word2 = a[[1]]
    print(word1)
    print(word1.shape)

![在这里插入图片描述][20200614205515634.png]  
此时再计算余弦相似度得到的结果就是两个向量的余弦相似度，是一个值。

print(sklearn.metrics.pairwise.cosine_similarity(word1, word2))

![在这里插入图片描述][20200614205646377.png]  
20 二维数组按行遍历：

for i in a:
        print(i)

![在这里插入图片描述][20200614211137590.png]  
21 item（）方法

d = {
        'one': 1, 'two': 2, 'three': 3}
    print(d.items())

把key-value组成元组并放在**list**中返回  
![在这里插入图片描述][20200615215629300.png]

for i in d.items():
        print(i)

![在这里插入图片描述][202006152157186.png]  
参考：https://www.runoob.com/python/att-dictionary-items.html

[20200614104434781.png]: https://img-blog.csdnimg.cn/20200614104434781.png
[20200614103717687.png]: https://img-blog.csdnimg.cn/20200614103717687.png
[20200614104009691.png]: https://img-blog.csdnimg.cn/20200614104009691.png
[20200614104224188.png]: https://img-blog.csdnimg.cn/20200614104224188.png
[20200614104416130.png]: https://img-blog.csdnimg.cn/20200614104416130.png
[20200614110638475.png]: https://img-blog.csdnimg.cn/20200614110638475.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200614104822477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70
[20200614111622493.png]: https://img-blog.csdnimg.cn/20200614111622493.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200614114125978.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70
[20200614114334856.png]: https://img-blog.csdnimg.cn/20200614114334856.png
[20200614114611618.png]: https://img-blog.csdnimg.cn/20200614114611618.png
[20200614114638730.png]: https://img-blog.csdnimg.cn/20200614114638730.png
[20200614115627122.png]: https://img-blog.csdnimg.cn/20200614115627122.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020061413333292.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200614141951792.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200614200759914.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70
[20200614200825231.png]: https://img-blog.csdnimg.cn/20200614200825231.png
[20200614205448565.png]: https://img-blog.csdnimg.cn/20200614205448565.png
[20200614205515634.png]: https://img-blog.csdnimg.cn/20200614205515634.png
[20200614205646377.png]: https://img-blog.csdnimg.cn/20200614205646377.png
[20200614211137590.png]: https://img-blog.csdnimg.cn/20200614211137590.png
[20200615215629300.png]: https://img-blog.csdnimg.cn/20200615215629300.png
[202006152157186.png]: https://img-blog.csdnimg.cn/202006152157186.png