python怎么调试网页h5页面_【Python】模拟登陆后如何获取跳转的网页？

╰+哭是因爲堅強的太久メ 2022-11-05 10:55 15阅读 0赞

爬取虾米音乐时，模拟登陆网页版地址https://login.xiami.com/member/login后，返回的是一串字符(包括status、jumpurl以及账号信息等)，但无法获取跳转后的网页(http://www.xiami.com/)；通过HttpFox发现：为了得到网页，必须发送登录时获取的cookie，于是添加cookie再进行爬取就可以了！奇怪的是，登陆手机版的网址不需要发送cookie就可以获取到，所以也想请教下原因。如果不采用登陆后再添加cookie的方法，如何直接获取到登陆跳转后的网页？

附录的代码：

\#! /usr/bin/env python2.7

\# encoding=utf-8

import re

import urllib,cookielib,urllib2

cookie = cookielib.CookieJar()

opener = urllib2.build\_opener(urllib2.HTTPCookieProcessor(cookie))

postdata = urllib.urlencode(\{

'email' : '(省略)',

'password' : '(省略)',

'submit' : '%E7%99%BB%E5%BD%95',

'\_xiamitoken' : '(省略)',

'done' : 'https://www.xiami.com',

'from' : 'web',

'havanaId' : ''

\})

postdata = postdata.encode('utf-8')

login\_headers = \{

'Referer' : 'https://www.xiami.com/',

'User-Agent' : 'Chrome/45.0.2454.101',

\}

url = 'https://login.xiami.com/member/login'

req = urllib2.Request(url,postdata)

\#result = opener.open(req)

result = urllib2.urlopen(req)

print result.read()

获取到的字符串：

\{“status”:true,”message”:”success”,”data”:\{“user\_id”:”(省略)”,”nick\_name”:”(省略)”\},”jumpurl”:”https:\\/\\/www.xiami.com”\}

回答

模拟操作的时候，个人推荐使用requests库，可以自动提交cookie，免去手动操作的烦恼

手机可以不用cookie直接获取内容，感觉关键在于ua，有条件可以抓包看一下

requests能自动跳转

cookie = cookielib.CookieJar()

opener = urllib2.build\_opener(urllib2.HTTPCookieProcessor(cookie))

爬取的时候，就在开始加上这两句话　就可以带cookie访问了啊　别的你就不用管了，　有些请求是必须发送某些cookie的吧，而且感觉跳转不用管吧，就算跳转了，cookie也会在本地存着呢。你要爬取的东西都可以通过分析请求来得到吧。　不知道你的问题与我的回答有没有在一条路上。。。

根据你的描述登录接口返回数据，那基本就是前台完成的控制跳转，所以你只能用你的爬虫程序自行完成cookie携带请求

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫：如何获取网页内容

在Python中，我们可以使用各种库来抓取网页内容。以下是两种常用的库——`requests` 和 `BeautifulSoup` 的简单使用方法： 1. **request

缺乏、安全感/ 2024年12月27日 21:06/ 0 赞/ 67 阅读

相关 python登陆网页并抓取数据

为了在 Python 中登录网页并抓取数据，您可以使用库如 `requests` 和 `beautifulsoup4`。这是一个示例代码，假设您想要登录网站并抓取其首页的内

我不是女神ヾ/ 2024年03月25日 11:07/ 0 赞/ 151 阅读

相关 H5网页跳转小程序

现在小程序越来越普遍了，从H5网页（要在微信浏览器下打开的）跳转到相应小程序的场景也越来越多。至此微信提供了相应的[微信开放标签][Link 1]让网页开发者可安全便捷地使用微

超、凢脫俗/ 2023年10月14日 04:50/ 0 赞/ 111 阅读

相关 js跳转(js跳转网页)

如何使用js跳转代码 javascript常用的页面跳转方法为： window.location.href=some\_url; 下面举例演示点击按钮后，延迟3秒跳转

绝地灬酷狼/ 2023年09月23日 18:39/ 0 赞/ 126 阅读

相关 winform模拟登陆网页_使用C#的HttpWebRequest模拟登陆网站

很久没有写新的东西了，今天在工作中遇到的一个问题，感觉很有用，有种想记下来的冲动。这篇文章是有关模拟登录网站方面的。实现步骤；启用一个web会话发送模拟数据请求

太过爱你忘了你带给我的痛/ 2023年01月09日 12:50/ 0 赞/ 193 阅读

相关 JavaScript网页制作--五秒后自动跳转页面

JavaScript网页制作–五秒后自动跳转页面通常在浏览一些网站时，会出现网页不存在的情况，网页不存在之后，有些网站会在5秒后自动跳转到一个新的网页，比如网站的首页。

红太狼/ 2022年12月27日 01:16/ 0 赞/ 4708 阅读

相关 php的重定向跳转页面,PHP中如何实现重定向网页跳转页面

PHP中重定向网页跳转页面的方法：1、利用【header()】函数进行重定向；2、利用HTML头部中的meta标签；3、利用javascript进行跳转。 ![a5176b2

男娘i/ 2022年11月12日 09:38/ 0 赞/ 354 阅读

相关 python怎么调试网页h5页面_【Python】模拟登陆后如何获取跳转的网页？

爬取虾米音乐时，模拟登陆网页版地址https://login.xiami.com/member/login后，返回的是一串字符(包括status、jumpurl以及账号信息等)

╰+哭是因爲堅強的太久メ/ 2022年11月05日 10:55/ 0 赞/ 16 阅读

相关登陆成功页面5秒跳转

争做5秒真男人，哈哈哈哈哈。代码： <!DOCTYPE html> <html> <head> <meta

古城微笑少年丶/ 2022年06月08日 05:37/ 0 赞/ 274 阅读

相关 h5网页跳转到小程序

第一：网页引用 <script src="http://res.wx.qq.com/open/js/jweixin-1.4.0.js"></script>

清疚/ 2022年01月23日 04:25/ 0 赞/ 408 阅读