(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化学习资料的朋友,可以戳这里获取
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
有点爬虫经验的,只要拿到导出朋友圈的URL,后面的爬虫就不足为道了。但本着分享和总结的精神,还是和大家娓娓道来。
=文中涉及个人隐私内容做了特殊处理=
上面已经介绍过了朋友圈的数据爬取是基于【出书啦】微信公众号生成的在线微信书数据的二次爬取。
具体步骤很简单:
- 关注【出书啦】微信公众号
- 点击【创作书籍】–>【微信书】–>【开始制作】–>【添加随机分配的出书啦小编为好友即可】
- 稍等片刻,微信书制作完毕,会收到小编发送的消息提醒,如下图所示。
至此,我们拿到朋友圈的数据入口——【出书啦】排版生成的微信书链接。
写过爬虫的,后面就可以直接略过了。
当然,没写过爬虫也不想动手的,也可以把【出书啦】生成的微信书链接留言或私信给我,我帮你获取年度关键词。
本文所写爬虫基于python2.7 + scrapy + jieba + wordcloud,使用VS Code IDE。
- Scrapy为Python中比较流行的爬虫框架。
- Jieba是比较好用的中文分词模块。
- Wordcloud 用于生成词云。
第一步:命令行执行,生成Scrapy爬虫项目。
第二步:进入创建的weixin_moment目录,执行创建朋友圈爬虫。
执行以上两步后的文件夹结构如下:
数据的准确抓取,需要对数据源进行准确分析。这一步我们就要来分析【出书啦】生成的微信书链接的数据加载方式。老规矩,F12开发者工具用起来。
从上图我们可以看出这是一个get请求,返回的json类型格式数据。
点击Preview页签可以看到如下图所示的数据:
从图中可以看到返回的目录导航数据包,其数据是按月份进行加载的。当点击导航按钮,其加载对应月份的朋友圈数据。
我们点击【2014-3】再观察网络请求,发现如下请求:
从以上数据我们可以明细看出,其采用的是用json传参的post的方式请求数据包。点击Preview页签,看到返回的分页JSON数据包。
展开某个节点,我们可以发现朋友圈数据藏在data/paras节点下。
至此,我们完成数据的来源分析。
完成了数据源分析,我们只需构造数据请求,并进行正确的数据解析,即可拿到我们想要的数据!
6.1.请求导航数据包
修改moment.py定义方法:
重载方法,解析获取到的导航数据包:
6.2. 发送导航请求,抓取朋友圈数据
- type:"year_month"为默认值
- year: 年份
- month: 月份
- index: 第几页
- value : 由年月拼接的字符串
继续修改我们的方法,遍历我们第一步抓取到的导航数据包构造请求参数:
因为从我们跟踪到的http请求来看是基于json传参的post请求:
所以我们要这样发起请求:
同样我们需要定义一个回调函数用来处理返回的朋友圈数据。定义方法,根据返回的json数据包进行数据提取: