如何利用Python网络爬虫抓取微信朋友圈的动态_如何写爬虫抓取自己的微信朋友圈数据？_业界动态_资讯

如何利用Python网络爬虫抓取微信朋友圈的动态_如何写爬虫抓取自己的微信朋友圈数据？

2024-12-16 15:32 浏览:71

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

有点爬虫经验的，只要拿到导出朋友圈的URL，后面的爬虫就不足为道了。但本着分享和总结的精神，还是和大家娓娓道来。

=文中涉及个人隐私内容做了特殊处理=

如何利用Python网络爬虫抓取微信朋友圈的动态_如何写爬虫抓取自己的微信朋友圈数据？

上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。

具体步骤很简单:

至此，我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。

写过爬虫的，后面就可以直接略过了。
当然，没写过爬虫也不想动手的，也可以把【出书啦】生成的微信书链接留言或私信给我，我帮你获取年度关键词。

本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud，使用VS Code IDE。

第一步：命令行执行，生成Scrapy爬虫项目。
第二步：进入创建的weixin_moment目录，执行创建朋友圈爬虫。
执行以上两步后的文件夹结构如下：

数据的准确抓取，需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩，F12开发者工具用起来。

从上图我们可以看出这是一个get请求，返回的json类型格式数据。

点击Preview页签可以看到如下图所示的数据：

从图中可以看到返回的目录导航数据包，其数据是按月份进行加载的。当点击导航按钮，其加载对应月份的朋友圈数据。

我们点击【2014-3】再观察网络请求，发现如下请求：

从以上数据我们可以明细看出，其采用的是用json传参的post的方式请求数据包。点击Preview页签，看到返回的分页JSON数据包。

展开某个节点，我们可以发现朋友圈数据藏在data/paras节点下。

至此，我们完成数据的来源分析。

完成了数据源分析，我们只需构造数据请求，并进行正确的数据解析，即可拿到我们想要的数据！

修改moment.py定义方法：

重载方法，解析获取到的导航数据包：

继续修改我们的方法，遍历我们第一步抓取到的导航数据包构造请求参数：

因为从我们跟踪到的http请求来看是基于json传参的post请求：
所以我们要这样发起请求：

同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义方法，根据返回的json数据包进行数据提取：