爬虫的第一步自然是从分析请求和网页源代码开始。从网页源代码中我们并不能找到发布的招聘信息。但是在请求中我们看到这样一条POST请求
如下图我们可以得知
- url：https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false
- 请求方式：post
- result：为发布的招聘信息
- totalCount：为招聘信息的条数
通过分析请求我们发现每页返回15条数据，totalCount又告诉了我们该职位信息的总条数。
- post请求的Form Data传了三个参数
- first ： 是否首页(并没有什么用)
- pn：页码
- kd：搜索关键字
接下来我们只需要每次翻页之后调用 get_json 获得请求的结果 再遍历取出需要的招聘信息即可
ok！ 数据我们已经获取到了，最后一步我们需要将数据保存下来
运行main方法直接上结果：
通过分析cvs文件，为了方便我们统计，我们需要对数据进行清洗
比如剔除实习岗位的招聘、工作年限无要求或者应届生的当做 0年处理、薪资范围需要计算出一个大概的值、学历无要求的当成大专
数据通过简单的清洗之后，下面开始我们的统计
绘制薪资直方图
结论：北京市Python开发的薪资大部分处于15~25k之间
公司分布饼状图
结论：Python开发的公司最多的是海淀区、其次是朝阳区。准备去北京工作的小伙伴大概知道去哪租房了吧
学历要求直方图
结论：在Python招聘中，大部分公司要求是本科学历以上。但是学历只是个敲门砖，如果努力提升自己的技术，这些都不是事儿
以上就是本篇文章【python实时比分数据爬虫】的全部内容了，欢迎阅览 ！ 文章地址：http://w.yusign.com/quote/118.html 行业 资讯 企业新闻 行情 企业黄页 同类资讯 网站地图 返回首页 述古往 http://w.yusign.com/mobile/ , 查看更多结论：弹性工作是大部分公司的福利，其次五险一金少数公司也会提供六险一金。团队氛围、扁平化管理也是很重要的一方面。