用python抓取某乎app端数据

   日期:2024-12-17    作者:yindufu1 浏览:84    移动:http://w.yusign.com/mobile/quote/1006.html

1

前言

最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多

本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据

2

配置抓包工具

1.安装软件

本文选择的抓包工具Fiddler

具体的下载安装这里不详细赘述(网上搜Fiddler安装,一大堆教程,本文以实战为例,就不再这里浪费时间了

2.配置Fiddler

安装好之后,接下来就开始配置Fiddler工具这里是关键,仔细阅读

配置Connections

打开Fiddler后,点击Tools->Options

点击Connections

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

3

配置手机代理

用python抓取某乎app端数据

1.设置代理

准备工作

首先看一下安装Fiddler主机ip电脑和手机必须处于同一局域网

查看ip命令

 
开始配置

目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

2.安装证书

在浏览器输入

 
 

点击下载证书后,下面就开始安装看图操作

ok,这样手机端就配置完成,下面开始抓取数据

4

抓取数据

1.打开某乎app

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包,添加一个过滤条件

这样我们获取的数据包列表就都是过滤条件内的目标网址

3.查找数据包

比如点击热榜

对应的https加密数据包如下

数据包中的数据如下

提取出url链接

 

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

5

总结

1.配置抓包工具Fiddler重点)。

2.ios苹果手机配置证书和设置代理(安卓手机也类似,且手机与电脑要在同一局域网

3.简单使用Fiddler(过滤数据包、查看数据包等)。

本文地址:http://w.yusign.com/quote/1006.html    述古往 http://w.yusign.com/static/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关行情
推荐行情
点击排行
{
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号