Python爬虫之使用BeautifulSoup进行HTML Document文档的解析

   日期:2024-12-29     作者:o93v3      
核心提示:BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库,它为开发者提供了一种简单的方式来查找、遍历和修改文档树

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库,它为开发者提供了一种简单的方式来查找、遍历和修改文档树。BeautifulSoup 特别擅长处理不规则或格式不佳的标记语言,可以自动更正无效的 HTML,因此在网页抓取(Web Scraping)中非常受欢迎。

  • 易于使用:提供了直观的方法来导航、搜索和修改解析树。
  • 容错性强:能够处理有缺陷的 HTML,并尝试生成最可能的解析结果。
  • 多种解析器:支持 Python 标准库中的 HTML 解析器,以及第三方解析器如 lxml 和 html5lib。
  • 链式调用:可以通过连续调用方法来构建查询,使得代码更加简洁和易读。

你可以通过 pip 安装 BeautifulSoup

 

如果需要安装额外的解析器,比如 lxml 或 html5lib,也可以通过 pip 安装

 
 

下面是一个简单的例子,展示如何使用 BeautifulSoup 来解析 HTML 内容并提取信息

 

lxml内核解析本地文件

 

lxml内核解析网络文件

 

BeautifulSoup 提供了多种方法来寻找文档中的元素

  • :查找所有符合条件的标签。
  • :查找第一个符合条件的标签。
  • :使用 CSS 选择器来查找元素。
  • :向上查找父级标签。
  • :查找后面的兄弟标签。
  • :查找前面的兄弟标签。
 
 
 
 

返回的是一个列表 并且返回了所有的a标签

 
 
 

属性选择器—通过属性来寻找对应的标签

 

层级选择器/后代选择器

 

获取节点内容

Python爬虫之使用BeautifulSoup进行HTML D<i></i>ocument文档的解析

 

如果标签对象中 只有内容 那么string和get_text()都可以使用,如果标签对象中 除了内容还有标签 那么string就获取不到数据 ,而get_text()是可以获取数据

我们一般情况下 推荐使用get_text()。

节点的属性

     本文地址:http://w.yusign.com/tjnews/4481.html    述古往 http://w.yusign.com/static/ , 查看更多
 
标签: 标签 查找
特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

举报收藏 0打赏 0
 
更多>同类生活信息

相关文章
最新文章
推荐文章
推荐图文
生活信息
点击排行
{
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号