基于Node.js+D3.js的网易云音乐用户数据可视化分析

「爱情、让人受尽委屈。」 2024-02-22 09:55 6阅读 0赞

目 录

第1章　绪论 1  
1.1 研究的意义 1  
1.2 内容安排 1  
第2章　数据可视化概述 2  
2.1 概述 2  
2.2 基于D3的数据可视化技术 2  
2.3 基于地图可视化在D3中的实现的数据可视化技术 3  
第3章　数据的爬取 6  
3.1 原理 6  
3.2 调用官方后台API的具体方法 6  
3.3反爬虫策略 12  
3.4代理程序 12  
3.5 Node.js基于事件循环的异步非阻塞并发机制 16  
3.6 并发锁 16  
3.7 异常处理 17  
第4章　数据的结构 17  
4.1 JSON格式与JSON文件 17  
4.2 User的结构 18  
4.3 Follow的结构 19  
第5章　数据的存储 20  
5.1 数据库的选择 20  
5.2 数据库的搭建 20  
5.3 数据库的管理 21  
5.4 数据库的连接 21  
5.5 数据库的优化 22  
第6章　数据的分析与可视化 22  
6.1 用户的总体分布情况 22  
6.2 用户在不同省份的分布 25  
6.3 用户之间相互关注的情况的对比分析 36  
6.4 采用floyd算法计算用户之间的距离 40  
第7章　结论 43  
参考文献 44  
致 谢 45  
第3章　数据的爬取  
3.1 原理  
通过请求伪造，伪造与正常请求相同的请求头, 调用官方 API. 爬虫通过提供与正常请求相同的参数, 通过post方法向网易云的后台发起请求, 从而获取相应的数据.  
通过抓包来分析网易云音乐windows客户端与服务器端的通信方式，从而获取调用官方后台API的具体方式。这样，可以直接通过调用官方的后台API来获取想要的数据。这种爬取数据的方法与传统的爬虫有所不同。传统的爬虫是通过爬取完整的网页，然后从网页的DOM结构中提取出所需要的信息，这种爬取信息的方式爬取的信息非常的多，适合于搜索引擎进行网页的索引和归类，但是并不适合我们的需求。我们需要的信息只是与用户的特征信息相关的那一小部分信息，爬取完整的网页会造成非常大的资源浪费，而且也会减慢爬取的速度。这种直接调用官方后台API爬取数据的方式，可以最大程度的避免爬取不必要的信息，而且可以大幅度加快爬取数据的速度。  
3.2 调用官方后台API的具体方法

3.2.1. 访问方式

网易云音乐的后台api的url为\`http://music.163.com/weapi/ a p i n a m e ? c s r f t o k e n = \{api\_name\}?csrf\_token= apiname?csrftoken=\{token\}, 通过发起http请求即可访问网易云音乐的后台api，但是后台的api需要加上正确的参数并对参数进行相应的处理，否则会被网易云音乐的后台判定为非法请求，直接屏蔽掉。

3.2.2. 参数的处理

上面已经提到，在对网易云音乐的后台发起请求的时候，必须带上相应的参数并进行正确的处理，否则请求会被当做非法的而自己屏蔽掉。

![在这里插入图片描述][ec1c607303364ddb90230be956499952.png_pic_center]  
![在这里插入图片描述][11dce908fab24b9bb3a8e3b5a96b9b69.png_pic_center]  
![在这里插入图片描述][acae0263f54447cc8d8ba060b7ea269d.png_pic_center]  
![在这里插入图片描述][14ecd7cd783b4642b0f72de19ca8c4ed.png_pic_center]  
![在这里插入图片描述][91b43c96efd64073a4a15932081afffb.png_pic_center]  
![在这里插入图片描述][c20d31ec405f4c19b453ebda4d08a3ca.png_pic_center]  
![在这里插入图片描述][f7f253ed974c437baaa29bb40daf2d2a.png_pic_center]  
![在这里插入图片描述][9807cb36491c45268cae3d09f4965f98.png_pic_center]  
![在这里插入图片描述][586c29d7c10a4f36a29f20197e79afae.png_pic_center]  
![在这里插入图片描述][fdf1351992cc4ef0bd8fbdc82dc4d89a.png_pic_center]  
![在这里插入图片描述][4a2e6146f140414d9fc3cfd21f59538c.png_pic_center]  
![在这里插入图片描述][62685fa7cc424ffebd074c519ed5417c.png_pic_center]  
![在这里插入图片描述][07af0c21d2e5450daec3ae2d7e01710a.png_pic_center]  
![在这里插入图片描述][5335703c0ffc4247b4e2b81d19684a55.png_pic_center]  
![在这里插入图片描述][35e0ec0706ea4390b79f0826ee5ab02a.png_pic_center]  
![在这里插入图片描述][4084b126db964d37b31b9c34e4963292.png_pic_center]  
![在这里插入图片描述][ff619213903f468a8f48501d3fbcca52.png_pic_center]  
![在这里插入图片描述][ae200d9fb5e549d8b769578e1c0d160b.png_pic_center]  
![在这里插入图片描述][3901f4f411514563966303fe87db02af.png_pic_center]

[ec1c607303364ddb90230be956499952.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/338ac0efd2bb47359684522ea28046f6.png
[11dce908fab24b9bb3a8e3b5a96b9b69.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/35fdb28fe83d4e28b0fd8f29f5881300.png
[acae0263f54447cc8d8ba060b7ea269d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/4250dd63cf13407d96fb3bc8ba31bfa2.png
[14ecd7cd783b4642b0f72de19ca8c4ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/fae8f9c379454f61b6c1150de3f179d1.png
[91b43c96efd64073a4a15932081afffb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/cf559d3f7a644a2c82ae676476e4a27d.png
[c20d31ec405f4c19b453ebda4d08a3ca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/c1fd1a890d774b6288660c0da29211b7.png
[f7f253ed974c437baaa29bb40daf2d2a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/4ede1d361d1e4816be2730186c01f75e.png
[9807cb36491c45268cae3d09f4965f98.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/38d67f92f4b34d26bb6d7c3235d855d2.png
[586c29d7c10a4f36a29f20197e79afae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/60e8f64800c8489286770b279d2be6b8.png
[fdf1351992cc4ef0bd8fbdc82dc4d89a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/352f00e2f37b4d498d9e1ac3d5263cf1.png
[4a2e6146f140414d9fc3cfd21f59538c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/9f629b5f10d74262b83e8166641d8d96.png
[62685fa7cc424ffebd074c519ed5417c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/8a1ed3e5628d4184a2adb8932ece312a.png
[07af0c21d2e5450daec3ae2d7e01710a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/85fe1348374c4060be3bc64e855a191c.png
[5335703c0ffc4247b4e2b81d19684a55.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/baa1616826ce4f5dbb47dbaa107d5b68.png
[35e0ec0706ea4390b79f0826ee5ab02a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/464b4958e8fe4b40bd5d07a7bfa47986.png
[4084b126db964d37b31b9c34e4963292.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/e6d8a53ae9494139bb963e6a081847b6.png
[ff619213903f468a8f48501d3fbcca52.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/96d02ceffdf1456089e238515f3b69aa.png
[ae200d9fb5e549d8b769578e1c0d160b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/899e8f1aeff9406d904579582d447de3.png
[3901f4f411514563966303fe87db02af.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/22/61ba0a85a3e94c03a4d863e270d7faf1.png