抓取facebook的过程

╰半夏微凉° 2023-06-19 07:27 6阅读 0赞

# 一、租服务器 #

1.  购买阿里云
2.  开通3306端口（习惯） [参考该网站][Link 1]
3.  安装图形界面 [参考1][1] ； [参考2][2] （可选）

# 二、配置linux环境 #

1.  [安装anaconda][anaconda]
2.  [配置anaconda环境变量][anaconda 1]
3.  [安装进程守护工具][Link 2]
4.  安装selenium

# 三、配置本地端pycharm #

1.  [下载][Link 3]
2.  [下载汉化包][Link 4]：①将下载文件名改为resources\_cn.jar，放入lib文件夹下
3.  [远程连接海外服务器][Link 5]

# 四、测试代码 #

1.  从win向服务器传文件夹 [参考][Link 6]  
    `pscp -r C:\Users\herop\Desktop\fbcrawl-master root@161.117.83.9:/program`
2.  从服务器向win传文件  
    `scp -r root@161.117.83.9:/program C:\Users\herop\Desktop\`
3.  抓取facebook post
4.  抓取facebook comment
5.  从win向服务器传文件  
    `pscp C:\Users\herop\Desktop\fb-post.py root@161.117.83.9:/program/`
6.  linux压缩文件  
    `tar -zcvf FileName.tar.gz FileName`

# 五、facebook scraper源代码学习 #

1.  [requests-html文档][requests-html]
2.  [linux安装mysqldb][linux_mysqldb]

# 其他：linux常用指令 #

1.  [编辑文件][Link 7]
2.  [关机重启][Link 8]
3.  [linux文件复制][linux]  
    cp -r tweett1 tweett13

[Link 1]: https://blog.csdn.net/baidu_37895884/article/details/78184466
[1]: https://yq.aliyun.com/articles/608464
[2]: https://blog.csdn.net/sinat_27933301/article/details/83628376
[anaconda]: https://zhuanlan.zhihu.com/p/64930395
[anaconda 1]: https://blog.csdn.net/huludan/article/details/52711107
[Link 2]: https://www.jianshu.com/p/39b476e808d8
[Link 3]: https://www.jetbrains.com/
[Link 4]: https://www.cnblogs.com/QYGQH/p/7569769.html
[Link 5]: https://blog.csdn.net/Aerry_ale/article/details/81566832
[Link 6]: https://blog.csdn.net/m0_37693335/article/details/81198866
[requests-html]: https://cncert.github.io/requests-html-doc-cn/#/?id=%E5%AE%89%E8%A3%85
[linux_mysqldb]: https://www.jianshu.com/p/49220fd17531
[Link 7]: https://www.cnblogs.com/shaosks/p/9167767.html
[Link 8]: https://www.ezloo.com/2009/05/linux_poweroff_and_reboot.html
[linux]: https://www.cnblogs.com/zdz8207/p/linux-cp-dir.html