上来就情感分析？还是先用python去去重吧！

柔光的暖阳◎ 2023-07-18 06:50 24阅读 0赞

↑ 关注 + 星标 ~ 有趣的不像个技术号

每晚九点，我们准时相约  ![format_png][]

![format_png 1][]

大家好，我是黄同学![format_png 2][]

下面我给大家讲讲：为什么用python情感分析之前应该先去重！

## 1、原理说明 ##

1）为什么要进行数据的句内去重？

![format_png 3][]

在做情感分析的时候，有时候需要对文本进行分词，做词频统计。上图是某个店铺的留言数据，对于第26条，只是为了说明“东西很好，很好用!”，但是为了凑字数留言，就写成了如图所示。但是我们在进行词频统计的时候，只统计“东西很好，很好用!”一次就够了，因此，就需要用到“数据的句内去重”。

2）以“单字词”为例，进行原理说明

![format_png 4][]

3）原理说明

通过上图可以发现，进行词语句内去重，首先判断位置j到j+1位置的元素是否相等，如果相等，再判断j+1处的元素和j+2处的元素是否相等，这样依次进行下去。

由于原理不好用语言，进行详细叙述，因此你可以好好琢磨一下下面的代码。对于不懂的地方，可以在博客中留言说明。

## 2、“单字词”句内去重 ##

st = "我很是好好好好好好呀"
    
    for j in range(len(st)):
        if st[j:j+1] == st[j+1:j+2]:
            k = j + 1
            while st[k:k+1] == st[k+1:k+2] and k<len(st):  # k<len(st)是为了退出这个while循环，否则一直循环
                k = k + 1
            st = st[:j] + st[k:]
            
    st

结果如下：

![format_png 5][]

## 3、“双字词”句内去重 ##

st = "今天天气天气天气天气好哦"
    
    for j in range(len(st)):
        if st[j:j+2] == st[j+2:j+4]:
            k = j + 2
            while st[k:k+2] == st[k+2:k+4] and k<len(st):
                k = k + 2
            st = st[:j] + st[k:]
            
    st

结果如下：

![format_png 6][]

## 4、“三字词”句内去重 ##

st = "我天气好天气好天气好哈"
    
    for j in range(len(st)):
        if st[j:j+3] == st[j+3:j+6]:
            k = j + 3
            while st[k:k+3] == st[k+3:k+6] and k<len(st):
                k = k + 3
            st = st[:j] + st[k:]
            
    st

结果如下：

![format_png 7][]

## 5、将上述情况，封装成函数 ##

def func(st):
        for i in range(1,int(len(st)/2)+1):
            for j in range(len(st)):
                if st[j:j+i] == st[j+i:j+2*i]:
                    k = j + i
                    while st[k:k+i] == st[k+i:k+2*i] and k<len(st):
                        k = k + i
                    st = st[:j] + st[k:]
        return st
        
    st = "我爱你我爱你我爱你好你好你好哈哈哈哈哈"
    func(st)

结果如下：

![format_png 8][]

![format_png 9][]

**近期文章，点击图片即可查看**

[![format_png 10][]][format_png 10 1]

[![format_png 11][]][format_png 11 1]

[![format_png 12][]][format_png 12 1]

[![format_png 13][]][format_png 13 1]

**后台回复关键词「****进群****」，即刻加入读者交流群~**

![format_png 14][]

**五**

欢迎大家分享各种实战经验

![format_png 15][]

朱小五

[format_png]: /images/20230528/3fa7478cc3cd4b6fb5d7711357bd196f.png
[format_png 1]: /images/20230528/7d3513f568ef44ccabb065862e6d1e0f.png
[format_png 2]: /images/20230528/1a1d23173fc34dc7b3f125353f7b69f6.png
[format_png 3]: /images/20230528/1f177c4f80fe4329895b464d1d8f3fb8.png
[format_png 4]: /images/20230528/e1b1517e19e942dc8f54546bd0ee53ba.png
[format_png 5]: /images/20230528/57f31438005e4e68a17dc0be8904ed5a.png
[format_png 6]: /images/20230528/2a5d4a23dee54eddb1dbb9ed8c60380b.png
[format_png 7]: /images/20230528/ad5adda0c3084d2e9d95188c910b8dbe.png
[format_png 8]: /images/20230528/d5dcc49afbe948c49ee2fb39262912f8.png
[format_png 9]: /images/20230528/91a8ad5081ca4ccfa47f7289b8f84fdd.png
[format_png 10]: /images/20230528/4f79f0064e0449a2b8cd2cd40363b2ed.png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d26e2c93aaff4002445aee5b343c1af428b042bb2934999f686639ede19d60cfff1778ef2&idx=1&mid=2247484262&scene=21&sn=2488fc349dc6f09699aff0a51d740f46#wechat_redirect
[format_png 11]: /images/20230528/543691f1d29f4183b7e69d6e5d915c55.png
[format_png 11 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d22bfc93aaba9bd906b43ccef454f9d94eed943a51d3c6901eb188a3cca3f8d8036ece866&idx=1&mid=2247485243&scene=21&sn=ed9387be66ef9b9711b57e79ac8a0baf#wechat_redirect
[format_png 12]: /images/20230528/e8a2054caef7416688f64c23d533b9fa.png
[format_png 12 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d22bfc93aaba9570ddb3573567b05b7b92d5a43e3857f74ee875e260ce678c90c232d0d5b&idx=2&mid=2247485243&scene=21&sn=9abe92ca1b7edc2e7dd289bfa0afeee5#wechat_redirect
[format_png 13]: /images/20230528/e0e7463430a848efa45fb9b737794109.png
[format_png 13 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d22cbc93aabdd1707223b33fd50f1618324160a28b2507130fba08f39ce43a6724d3cbd49&idx=1&mid=2247485263&scene=21&sn=cee5743a971e393a2abbf36742dc5813#wechat_redirect
[format_png 14]: /images/20230528/ee776b3736d54b93a0cc4bcf974b7165.png
[format_png 15]: /images/20230528/29f3c9b2bed54e889994e93a6a9cfae9.png