用Python打造属于自己的“今日头条” | 一个非常适合练手的全栈项目

布满荆棘的人生 2022-01-29 20:49 300阅读 0赞

**项目简介**

通过抓取微信文章和今日头条新闻，仿照今日头条，打造一个自己的今日头条

![1544008642490032.jpg][]

**基本思路**

新闻下载 -> 新闻存储 -> 新闻展示

抓取源：

1.  今日头条app新闻

https://lf.snssdk.com/api/news/feed/v88/

1.  搜狗微信首页新闻

https://weixin.sogou.com/

备注

微信文章的图片地址会过期，所以抓取的时候直接保存到本地

static/images

**项目使用模块**

*  下载器使用了：requests
 *  解析器使用了：scrapy.Selector
 *  存储器使用了：peewee
 *  web框架使用了：Flask

**启动运行**

git clone https://github.com/mouday/today-news.git
    cd today-news
    pip install -r requirement.txt
    python run.py

访问地址就可以打开：

http://127.0.0.1:5000/

**扩展**

如果需要更多的新闻源，可以自己抓取新的新闻源，放在`spiders`文件夹下，按照如下字段解析

item = {
        "title": title,   # 新闻标题
        "article_url": article_url,  # 新闻链接
        "source": source,   # 新闻发布者
        "source_url": source_url,  # 发布者链接
        "summary": summary,   # 新闻概要
        "tag": tag,  # 新闻标签
        "publish_time": publish_time,  # 新闻发布时间,datetime类型
        "image": image,  # 新闻图片
        }

将解析好的`item` 调用函数存入数据库

from models import ArticleModelUtils  
    ArticleModelUtils.insert(item)

这样前台就可以显示了

当然，如果有好的新闻源，可以提交到这个Github仓库，6小时之内会给出答复

**项目地址**

https://github.com/mouday/today-news

[1544008642490032.jpg]: https://www.itcodemonkey.com/data/upload/portal/20181205/1544008642490032.jpg

发表评论取消回复

表情：

评论列表（有 0 条评论，300人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫--今日头条

1、分析今日头条　　在看头条的时候可以发现展示出来的页面的数据都是一些封装过的js代码或者css代码，所以这时候就需要考虑页面的数据是不是封装在cookie里面了　　回

秒速五厘米/ 2023年08月17日 16:35/ 0 赞/ 115 阅读

相关 10分钟教你用Python写一个贪吃蛇小游戏，适合练手项目

贪吃蛇，大家应该都玩过。当初第一次接触贪吃蛇的时候，还是能砸核桃的诺基亚上，当时玩的不亦乐乎。今天，我们用Python编程一个贪吃蛇游戏，下面我们先看看效果： ![11

短命女/ 2023年03月13日 03:48/ 0 赞/ 175 阅读

相关市面上适合新手的Python入门练手项目！

目前市面上有很多适合新手的Python入门练手项目，Python入门需要理论与实践相结合，前面夯实基础知识，后面通过实战项目帮助你更好的运用这些Python知识。 ![在这

分手后的思念是犯贱/ 2022年12月16日 06:58/ 0 赞/ 256 阅读

相关 5个非常适合菜鸟练手的python项目，墙裂推荐！

下面用几个简单的题目来巩固一下所学输出1到100之间所有的偶数输出1到100之间所有的奇数输出1+2+3+4+…+99+100的和用户登录三次

古城微笑少年丶/ 2022年10月22日 04:25/ 0 赞/ 211 阅读

相关 Java——一些适合新手练手的Java项目

转载自 https://blog.csdn.net/luolianxi/article/details/77924728 Java作为一门古老的语言，已有20年左右的历史，这

本是古典何须时尚/ 2022年05月22日 08:14/ 0 赞/ 282 阅读

相关 Python抓取今日头条图片

TouTiao.py from _md5 import md5 import pymongo import requests

你的名字/ 2022年05月13日 12:44/ 0 赞/ 409 阅读

相关今日头条面试

问题：矿泉水1块钱1瓶，喝完以后，2个空瓶子可以换一瓶新矿泉水。问：花10块钱最后最多能得多少瓶矿泉水。解答： public class Main{

﹏ヽ暗。殇╰゛Y/ 2022年04月01日 03:14/ 0 赞/ 461 阅读

相关用Python打造属于自己的“今日头条” | 一个非常适合练手的全栈项目

项目简介通过抓取微信文章和今日头条新闻，仿照今日头条，打造一个自己的今日头条 ![1544008642490032.jpg][] 基本思路

布满荆棘的人生/ 2022年01月29日 20:49/ 0 赞/ 301 阅读

相关【jQuery】非常适合jQuery练手的小游戏

目录前言预览 HTML代码 CSS代码 JS/jQuery代码 -------------------- 前言非常适合练手小游戏，主要使用jQuery

野性酷女/ 2021年09月20日 20:10/ 0 赞/ 488 阅读

相关适合新手练手的Java 实战项目

引言：Java web项目主要采用mvc的的设计思想，系统主要采用java+jsp+servlet+mysql+eclipse实现，具有登陆、分页、导出excel，增删改查等功

小灰灰/ 2021年09月18日 06:44/ 0 赞/ 528 阅读