43000张图片和5项原则：用数据科学方法评选十大最火表情包

喜欢ヅ旅行 2022-12-13 11:21 45阅读 0赞

![format_png][]

全文共**2820**字，预计学习时长**8**分钟

![format_png 1][]

图源：unsplash

电视节目的火爆程度可以根据尼尔森收视率排名（Neilsen ratings）来衡量，但是表情包呢？目前仍然没有什么独立指标能用以评估表情包（memes）的浏览人数，所以笔者自己摸索出了一些方法！

本文将说明如何用约43000张图片的数据集和五项数据科学原则，来计算得出表情包的火爆程度排名。

1.明确定义估算对象

对文字信息的理解因人而异。笔者不知见识过多少次这样的场景：二人在对话中就项目的目标达成了一致，之后却发现彼此对关键词的理解大相径庭。因此，如果在项目开始时彻底厘清每个词的定义，就能省下不少时间。

例如，假设你要估算“2019年的英国人口数量”。这是指2019年初、年末还是年中的人口数量？还是三者的平均值？这里的“人口”是指常住居民，还是包括游客和临时居民在内的所有人？

回到表情包的话题上。首先声明，笔者要讨论的并非表情包的学术定义，而是网络表情包（结合了网上流行的图像和文字）。更具体地说，笔者感兴趣的是找出最流行的表情包模板（表情包的背景图像）。因此笔者所谓的“最火表情包”其实指的是：浏览人次最多的表情包模板（通过累加所有使用该模板的网络表情包的浏览量来计算得出）。

明确了这一点之后，就要开始收集数据。

2.以最小化偏差的方式采样数据

尼尔森排名系统不可能监测每台电视机，同样，笔者也无法全部下载网络上的每个表情包。因此，这两种情况都必须要经过采样。

如果一个数据样本真正代表了更广泛的群体，那么我们称其为无偏见数据。但在很多情况下，这是不可能的。通常，我们必须以尽可能合理的方式最小化偏差，然后在分析数据时尽最大努力修正偏差。

本项目中的表情包采集自Reddit，它是世界上最大的图片分享网站之一。使用一个爬虫工具在一天中多次查看该网站与表情包有关的几个部分，并且抓取前100张最受欢迎的图片。

其中的许多表情包都托管在Imgur上，该网站公开了表情包浏览数据。因此交叉引用这些数据可以让我们推断出Reddit上图片的浏览量。通过Reddit和Imgur的应用程序接口（API），只需寥寥几行python代码就可完成该采样。

![format_png 2][]

图源：unsplash

接下来的问题是：这一采样方法真的能够最小化偏差吗？Reddit只是网站中的一个个例，所以并不能真正代表整个互联网。我们可以对其他网站（如Instagram或Facebook）上的表情包进行采样，以减少偏差。

然而，这些网站公开的数据有限，无法进行比对。比对这些网站数据的唯一的方法是做出大胆的假设，但此举可能会为最终估计值引入更多的偏差。

没有十全十美的答案。有时，我们只能接受这一点。笔者认为应当从一个最优的数据来源进行采样，而不是将多个数据来源合并起来得到一个不可靠的数据集。笔者之所以称Reddit是最好的来源，是因为它是最大的图像共享网站，从中（通过交叉引用Imgur的数据）可以推断出精度合适的浏览量。

3.复杂模型只适用于复杂问题

我们需要确定数据集中每个表情包所使用的图像模板。这是一个图像分类问题，并且属于一个简单的图像分类问题。如果简单的方法就足以见效，那么就没必要选择复杂的解决方案。

近来最先进的图像分类器，比如那些在Image-Net比赛中名列前茅的分类器，都是能够不受角度、光线或背景的影响而正确识别物体的深度神经网络。观察一个表情包并识别其图像模板则容易得多，因此需要的东西远非100层神经网络那么复杂。

表情包图像模板的数量有限，并且都具有独特的颜色模式。我们仅需要计算像素并将结果传递给线性支持向量机，就能精确地分类表情包。训练支持向量机仅需几秒，而神经网络则需要数天。

![format_png 3][]

图源：unsplash

4.审核（有条件时引入人工）

很多时候，踌躇满志的年轻数据科学家跑来找到笔者，自豪地公布一个伟大的发现，却在被问及如何审核结果时面露怯色。通过基本的审核发现重大纰漏后，所谓的伟大发现往往将黯然退场。

在审核图形分类模型的结果时，人眼是无可替代的（至少目前如此）。你或许认为，验证图形分类器在这个数据集（约有43000张图像）上的结果需要很长时间，但有许多工具能加速这一过程。

借助标注工具，笔者平均使用20秒就能够审核100张图像（在10x10的格子中浏览），因此，全部审核完43000张图像只花费了不到3小时。这样的事情日常做大概吃不消，但一年一次还可以忍受。

5.仔细考虑每个假设

![format_png 4][]

图源：unsplash

统计模型有赖于数据和假设。通常情况下，原始数据无法优化，但假设可以改进。工作的最后一步是获取数据集，并提取出每个表情包模板的浏览数据。由于数据具有局限性，这一分析需要一些额外的假设。

第一个假设涉及到缺失值。如果数据集中的某个条目出现了缺失值，那么最好是移除该条目（因而将减小样本）呢，还是推测该缺失值是什么（因而或将引入误差）呢？

这取决于数据集中缺失值的比例。如果比例较低，通常最好直接丢弃缺失值。而如果比例较高（该表情包数据集就是如此），那么丢弃所有缺失值可能会大大降低样本的代表性。因此，笔者认为尽可能准确地填充这些缺失值是更好的做法。

第二个假设涉及修正我们的数据集对Reddit用户的倾向性。笔者用下面的“传播”假设来解决这一问题。笔者从Reddit的几十个不同板块进行了采样，以此来测量每个表情包模板在多少个板块中出现过。笔者假设，一个表情包在Reddit内部传播得越广，说明它在Reddit之外的传播范围也越广。为了反映这一点，笔者扩增了这些表情包的浏览次数。

对于假设来说，标准答案是不存在的。我们唯一的选择就是做出能让人信服的抉择。

计算结果：最受欢迎的表情包模板（2018年）

该算法在2018年全年都在运行，共下载了40万张图片，并识别出其中的43660张使用了250个最常见的表情包模板之一。

如你所见，歌星Drake的表情图以极大优势夺得了2018年的流行之冠，共有1亿5700万次浏览量（该分析结果很有可能小于实际数据）。

![format_png 5][]

此外，顶层模板的总浏览量分布近似于帕累托分布（Pareto distribution）。

![format_png 6][]

世界上有许多难以精确测算的事物，表情包的流行程度就是其中之一。有时我们只能尽量追求最优解。笔者讨论了在这一工作中使用的5项原则，一言以蔽之，即：在着手开始之前，仔细考虑项目的每个步骤。

![format_png 7][]

**推荐阅读专题**

[![format_png 8][]][format_png 8 1]

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

[![format_png 11][]][format_png 11 1]

![format_png 12][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：孙津、李林虹

相关链接：

https://towardsdatascience.com/calculating-the-10-most-viewed-memes-dc8e1e24caf3

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 13][]

[format_png]: /images/20221123/2f6edd3dc0ee4b5284f7dc6dff92f91f.png
[format_png 1]: /images/20221123/c686a3fb3f664dab96ce003c60e42b5d.png
[format_png 2]: /images/20221123/d4c4e9c317284ca3b4b7812d5192a666.png
[format_png 3]: /images/20221123/05aea938009d46cab1499e4ce1833d24.png
[format_png 4]: /images/20221123/cf53c364f3c14f51afd05ffcbb7d3cc3.png
[format_png 5]: /images/20221123/9ca6917902644a6e80723f989ca97ba3.png
[format_png 6]: /images/20221123/aa5d54e8dd584c55a621e7ed9118f75b.png
[format_png 7]: /images/20221123/1e7e710bb0dc4552bac2037898e4e728.png
[format_png 8]: /images/20221123/6022c82f92864aa1ae7d03ebebfca367.png
[format_png 8 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 9]: /images/20221123/02d37af76b05447e997942154ddc4d18.png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 10]: /images/20221123/60cf8aba332a4c60b4bfc53abb8ab0fb.png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 11]: /images/20221123/2b46b5718f87436698e4f350d9a901f1.png
[format_png 11 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 12]: /images/20221123/9c7bb0dfa668468494c4bf0e272ecb4c.png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 13]: /images/20221123/ca0ffef8f41d4a3ca08bd72cb4e4e50b.png