根据用户ID爬取Twitter数据

叁歲伎倆 2021-09-22 05:36 663阅读 0赞

*分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又给我们这群喜爱开发的童鞋们提供了友好的入门机会，因此，不如就在当下，开始一步一步的学习并开发自己的小程序吧。这是我的公众号：目的是和大家讨论小程序开发，同时也带着开发小白入门设计开发微信小程序，来吧，加入！*

![20200318220239494.png][]

# 正文： #

我需要爬取的用户ID存放在一个.csv文件下，然后从官网注册到一个APP，并获得你的key和secret，写入下边的代码，就可以爬取tweets了。

每个ID会输出相应的tweet并且s会放在一个.csv文件里，而这个.csv文件就在你运行这段代码的文件夹下。

\#!/usr/bin/env python

\# encoding: utf-8

import tweepy

import csv

consumer\_key = ""

consumer\_secret = ""

access\_key = ""

access\_secret = ""

def get\_all\_tweets(user\_id):

auth = tweepy.OAuthHandler(consumer\_key, consumer\_secret)

auth.set\_access\_token(access\_key, access\_secret)

api = tweepy.API(auth)

\# 初始化一个数字来存储所有的tweets

alltweets = \[\]

new\_tweets = api.user\_timeline(user\_id=user\_id, count=200)

\# save most recent tweets

alltweets.extend(new\_tweets)

\# save the id of the oldest tweet less one

oldest = alltweets\[-1\].id - 1

\# keep grabbing tweets until there are no tweets left to grab

while len(new\_tweets) > 0:

print "getting tweets before %s" % (oldest)

\# all subsiquent requests use the max\_id param to prevent duplicates

new\_tweets = api.user\_timeline(user\_id=user\_id, count=200, max\_id=oldest)

\# save most recent tweets

alltweets.extend(new\_tweets)

\# update the id of the oldest tweet less one

oldest = alltweets\[-1\].id - 1

print "...%s tweets downloaded so far" % (len(alltweets))

\# transform the tweepy tweets into a 2D array that will populate the csv

outtweets = \[\[tweet.id\_str, tweet.created\_at, tweet.text.encode("utf-8")\] for tweet in alltweets\]

\# write the csv

with open('%s\_tweets.csv' % user\_id, 'wb') as f:

writer = csv.writer(f)

writer.writerow(\["tweet\_id", "created\_at", "text"\])

writer.writerows(outtweets)

pass

if \_\_name\_\_ == '\_\_main\_\_':

with open(这里写你的文件的位置，例如：'e:/file/userID.csv', 'rb') as f:

ID = csv.reader(f)

for row in ID:

\# 这里运用了错误查询机制，遇到用户ID出现问题时，可以跳过

try:

get\_all\_tweets(row\[0\])

except tweepy.TweepError, e:

print 'Failed to run the command on that user, Skipping...'

except IndexError, e:

print 'List index out of range, Skipping...'

continue

[20200318220239494.png]: /images/20210920/ce2bb1a876644d419a5b8e01a77883c2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，663人围观）

还没有评论，来说两句吧...

相关阅读

相关百度地图接口爬取城市数据district_id

有问题可以联系本人QQ：1016401546，备注来意，否则不加附件为通过百度地图接口爬取百度地图城市数据，并存到mysql数据库里面，信息表和脚本下载：百度云的数据文

灰太狼/ 2022年12月28日 11:11/ 0 赞/ 246 阅读

相关通过爬虫实现twitter爬取

最近和一个好朋友聊天，他最近在研究舆情分析来辅助交易，需要通过twitter爬取数据，然后进行数据分析，从而得到有效消息来辅助交易。在他的威逼利诱下，最终决定拿出自己的爬虫

谁借莪１个温暖的怀抱￠/ 2022年11月04日 01:40/ 0 赞/ 229 阅读

相关 Twitter分布式唯一ID算法

唯一ID值可以用UUID，但是UUID是无序的，而且是字符串，在数据库中效率低，插入时间慢，一般是自己写算法是生成一个唯一的ID，大家可能说使用数据库自增，但是如果数据到了分表

系统管理员/ 2022年06月04日 09:14/ 0 赞/ 324 阅读

相关 CSDN用户行为分析和用户行为数据爬取

爬虫随机从CSDN博客取得800条用户行为数据，包含用户名、原创博客数、评论数、浏览量，试着从博客数，评论数，浏览量三个方面分析csdn的博主们的形象。原创博客数博

「爱情、让人受尽委屈。」/ 2022年03月19日 08:56/ 0 赞/ 572 阅读

相关爬取手机APP数据

爬取APP数据流程： 1、使用抓包工具； 2、手机使用代理； 3、获取并分析接口； 4、反编译apk获取key； 5、突破反爬限制。工具： 1、夜神

朴灿烈づ我的快乐病毒、/ 2022年02月22日 10:25/ 0 赞/ 687 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 445 阅读

相关 python模拟用户登录爬取阳光采购平台数据

原创内容，爬取请指明出处：[https://www.cnblogs.com/Lucy151213/p/10968868.html][https_www.cnblogs.com_

冷不防/ 2021年12月12日 12:17/ 0 赞/ 366 阅读

相关 python 爬取动态数据

按照：[https://dryscrape.readthedocs.io/en/latest/installation.html][https_dryscrape.readth

落日映苍穹つ/ 2021年11月11日 04:20/ 0 赞/ 565 阅读

相关根据用户id获取该用户的信息

现在显示用户信息时会把数据库中所有的用户信息都显示出来，但我只想根据id显示本人信息，尝试用ajax没改出来，明天试试session![1301502-201908022242

我不是女神ヾ/ 2021年11月05日 10:16/ 0 赞/ 419 阅读

相关根据用户ID爬取Twitter数据

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

叁歲伎倆/ 2021年09月22日 05:36/ 0 赞/ 664 阅读