如何利用Python网络爬虫抓取微信朋友圈的动态_如何写爬虫抓取自己的微信朋友圈数据?

   日期:2024-12-16     作者:yindufu1       评论:0    移动:http://w.yusign.com/mobile/news/851.html
核心提示:(1)Python所有方向的学习路线(新版) 这是我花了几天的时间去把Python所有方向的技术点做的整理

(1)Python所有方向的学习路线(新版

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导,让我们一起学习成长

有点爬虫经验的,只要拿到导出朋友圈的URL,后面的爬虫就不足为道了。但本着分享和总结的精神,还是和大家娓娓道来。

=文中涉及个人隐私内容做了特殊处理=

如何利用Python网络爬虫抓取微信朋友圈的动态_如何写爬虫抓取自己的微信朋友圈数据?

上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。

具体步骤很简单:

  1. 关注【出书啦】微信公众号
  2. 点击【创作书籍】–>【微信书】–>【开始制作】–>【添加随机分配的出书啦小编为好友即可】
  3. 稍等片刻,微信书制作完毕,会收到小编发送的消息提醒,如下图所示。

至此,我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。

写过爬虫的,后面就可以直接略过了。
当然,没写过爬虫也不想动手的,也可以把【出书啦】生成的微信书链接留言或私信给我,我帮你获取年度关键词。

本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud,使用VS Code IDE。

  1. Scrapy为Python中比较流行的爬虫框架。
  2. Jieba是比较好用的中文分词模块。
  3. Wordcloud 用于生成词云。

第一步:命令行执行,生成Scrapy爬虫项目。
第二步:进入创建的weixin_moment目录,执行创建朋友圈爬虫。
执行以上两步后的文件夹结构如下

数据的准确抓取,需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩,F12开发者工具用起来。

从上图我们可以看出这是一个get请求,返回的json类型格式数据。

点击Preview页签可以看到如下图所示的数据

从图中可以看到返回的目录导航数据包,其数据是按月份进行加载的。当点击导航按钮,其加载对应月份的朋友圈数据。

我们点击【2014-3】再观察网络请求,发现如下请求

从以上数据我们可以明细看出,其采用的是用json传参的post的方式请求数据包。点击Preview页签,看到返回的分页JSON数据包。

展开某个节点,我们可以发现朋友圈数据藏在data/paras节点下。

至此,我们完成数据的来源分析。

完成了数据源分析,我们只需构造数据请求,并进行正确的数据解析,即可拿到我们想要的数据

6.1.请求导航数据包

修改moment.py定义方法

 

重载方法,解析获取到的导航数据包

 

6.2. 发送导航请求,抓取朋友圈数据

  1. type:"year_month"为默认值
  2. year: 年份
  3. month: 月份
  4. index: 第几页
  5. value : 由年月拼接的字符串

继续修改我们的方法,遍历我们第一步抓取到的导航数据包构造请求参数

 

因为从我们跟踪到的http请求来看是基于json传参的post请求
所以我们要这样发起请求

 

同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义方法,根据返回的json数据包进行数据提取

     本文地址:http://w.yusign.com/news/851.html    述古往 http://w.yusign.com/static/ , 查看更多
 
特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

举报收藏 0打赏 0评论 0
 
更多>同类资讯
0相关评论

相关文章
最新文章
推荐文章
推荐图文
资讯
点击排行
{
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号