让Python告诉你你上班的时候到底在做什么

系统管理员 2024-04-17 05:56 87阅读 0赞

# **让Python告诉你你上班的时候到底在做什么** #

本文章来自微信公众号[https://mp.weixin.qq.com/s/ujDgLevX8XZSwtFFm-LCsw][https_mp.weixin.qq.com_s_ujDgLevX8XZSwtFFm-LCsw]，内容有所增减修改，如有冒犯，请联系2351147520@qq.com删除

作者github地址

[https://github.com/shengqiangzhang/examples-of-web-crawlers/tree/master/11.%E4%B8%80%E9%94%AE%E5%88%86%E6%9E%90%E4%BD%A0%E7%9A%84%E4%B8%8A%E7%BD%91%E8%A1%8C%E4%B8%BA(web%E9%A1%B5%E9%9D%A2%E5%8F%AF%E8%A7%86%E5%8C%96)][https_github.com_shengqiangzhang_examples-of-web-crawlers_tree_master_11._E4_B8_80_E9_94_AE_E5_88_86_E6_9E_90_E4_BD_A0_E7_9A_84_E4_B8_8A_E7_BD_91_E8_A1_8C_E4_B8_BA_web_E9_A1_B5_E9_9D_A2_E5_8F_AF_E8_A7_86_E5_8C_96]

长时间使用浏览器会积累大量浏览器历史记录，这些是很隐私的数据，里面甚至可能有一些不可描述的网站或者搜索记录不想让别人知道。不过，我们自己可能会感兴趣，天天都在上网，想知道长期下来是都在浑水摸鱼还是有认真工作。

其次，了解下自己每天打开多少次网页、哪些网站上的最多、常搜哪些关键词，这些也很有趣。

下面就来给大家介绍一款 Python 编写的神工具，可以一键分析你的上网行为。我用了后发现了很多不可思议的结论。

比如访问次数最多的网站还是iis，看来我还是有好好工作啊（吐槽，这TM也太多次了，这个东西我到底做了多久啊）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70][]

浏览次数最多的十个网站

看到了每天打开网站的次数，平均都有好几百次，7 月28号那天发生了什么，竟打开了 1805次！想起来了，又是哪个bug让我在百度上逛了一天吧。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 1][]

每日访问网站次数

看来除了工作，我也就喜欢写博客和听音乐了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 2][]

停留时间最长的 URL 排名

居然是百度翻译排第一，我的英语是有多差，所有的变量命名都需要百度翻译的么

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 3][]

搜索最多的十个关键词

最后统计出了各大搜索引擎的使用率。百度 的使用率达到了 97.5%，而其余的只有不到 3%，可能是习惯了百度吧，谷歌和必应都很好用的啊，大概是公司内网翻墙不太好吧，emmm，以后用bing好了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 4][]

各搜索引擎使用占比

怎么样是不是挺有意思？下面就来说说怎么用这款工具，让你也可以分分钟了解自己的上网行为，非常简单。

这款 Python 工具其实就是分析浏览器的历史记录数据库文件然后可视化。这里的浏览器只支持 Chrome 和以 Chrome 为内核的浏览器，比如 Centbrower 、360极速浏览器等，其他浏览器比如 ie、Firefox 不支持。如果有登陆账号，桌面端和电脑端会一起分析，更全面。

第一步，打开网站（http://39.106.118.77:8090/）：

![format_png][]

mark

接着上传你的浏览器历史记录文件，这个历史记录文件怎么获得呢？

新建一个标签页，输入 `chrome://version/` 回车，可以打开你的浏览器详细信息：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 5][]

mark

复制「个人资料路径」到资源管理器打开，然后找到 history 文件复制一份到桌面。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 6][]

mark

接着就在刚才的网站中上传该文件（我的文件有 6MB 大），稍等片刻就可以得到上门的那些可视化分析结果。

你可能会担心上传浏览器历史记录是否安全，尽管放心，这个程序是开源的。看看这个网站是用哪些神奇的家伙制作的吧，后台flask+前端react是一种很轻量级的选择呢

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 7][]

下面再简单说下如何用 python 一步步实现的这个程序功能的，这是一个很棒的 python 练手项目，涉及到了前后端的知识，整个程序包含多个文件：

Code
    ├─ app_callback.py                          回调函数，实现后台功能
    ├─ app_configuration.py                     web服务器配置
    ├─ app_layout.py                            web前端页面配置
    ├─ app_plot.py                              web图表绘制
    ├─ app.py                                   web服务器的启动
    ├─ assets                                   web所需的一些静态资源文件
    │  ├─ css                                   web前端元素布局文件
    │  │  ├─ custum-styles_phyloapp.css
    │  │  └─ stylesheet.css
    │  ├─ image                                 web前端logo图标
    │  │  ├─ GitHub-Mark-Light.png
    │  └─ static                                web前端帮助页面
    │  │  ├─ help.html
    │  │  └─ help.md
    ├─ history_data.py                          解析chrome历史记录文件
    └─ requirement.txt                          程序所需依赖库

每个程序实现的功能：

![format_png 1][]

mark

具体实现思路大致分为下面几点：

*  解析历史记录文件数据

历史记录 history 是一个 sqllite 数据库文件，连接数据库查询然后调用数据库中的信息并存储。

*  配置 web 服务器和前端页面
 *  可视化绘图函数

既然是sqllite那就打开看看吧，啊哈，真的所有的记录都有储存哎，分析数据Python最拿手了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 8][]

可视化图形使用的是可交互式的 plotly 库。

**小结**

上网记录是很重要的隐私数据，平常自己可能无法从中直接发现什么，使用 Python 简单一分析就可以发现很多东西，所以平时尽量注重隐私保护。

[https_mp.weixin.qq.com_s_ujDgLevX8XZSwtFFm-LCsw]: https://mp.weixin.qq.com/s/ujDgLevX8XZSwtFFm-LCsw
[https_github.com_shengqiangzhang_examples-of-web-crawlers_tree_master_11._E4_B8_80_E9_94_AE_E5_88_86_E6_9E_90_E4_BD_A0_E7_9A_84_E4_B8_8A_E7_BD_91_E8_A1_8C_E4_B8_BA_web_E9_A1_B5_E9_9D_A2_E5_8F_AF_E8_A7_86_E5_8C_96]: https://github.com/shengqiangzhang/examples-of-web-crawlers/tree/master/11.%E4%B8%80%E9%94%AE%E5%88%86%E6%9E%90%E4%BD%A0%E7%9A%84%E4%B8%8A%E7%BD%91%E8%A1%8C%E4%B8%BA%28web%E9%A1%B5%E9%9D%A2%E5%8F%AF%E8%A7%86%E5%8C%96%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/08a7e1c3bb934a9db95f1fa07e1da210.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/c5af8d2978f14a8698cab16ea61a1e80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/710dde7489c441d7b14984057f91d301.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/38fd69cc74474823bad6192bea8107ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/02710285342d408ab3e54a171febb7f0.png
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90UnJ4U0Y5SVVJTldGcmYxYnNFdFExbWljdzlyWUl1dmliWTlwQ2liQUVLNUp5ZGlhY2tjRXVKRWJWUkJ2aFJyNXlpYzFYWTkzd3cyeENSbGtHbWo4dUd2M1h3LzY0MD93eF9mbXQ9cG5nJnRwPXdlYnAmd3hmcm9tPTUmd3hfbGF6eT0xJnd4X2NvPTE?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/16b3bbe8e64b4635b876344dfa38972a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/694af659dfbb4c09a1c7b4bb2df4464b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/d76efd17bff649889bae56afbcd81975.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90UnJ4U0Y5SVVJTldGcmYxYnNFdFExbWljdzlyWUl1dmlicUl3YzZOVjhyNmVPbjZRaWI5WlNYUGJla0RpY3A2akNJcUNuUWYxYlREeW9NRTFqVmRZZFJWV2cvNjQwP3d4X2ZtdD1wbmcmdHA9d2VicCZ3eGZyb209NSZ3eF9sYXp5PTEmd3hfY289MQ?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjk1NjQy_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/1df86fc90b39469cbb6995d40b03bc40.png