找项目网找项目网  2023-05-20 17:26 找项目网 隐藏边栏
导语: 选择器语法。选择器语法。以上我们讲了许多关于标签的知识,现在来谈谈怎么获取标签内的属性和标签包裹的文本,实际的爬虫项目中,通常这是最重要的一步,比如从a标签中获取链接、从li标签或者p标签中获取文本。到此,在爬虫中会使用到的函数就是这些了。还拥有操作文档树的能力,本篇文章着重介绍与爬虫相关的知识,所以就不再此详细叙述了,有兴趣的同学移步官方文档:pyquery,可获取本文的完整示例代码。

根据 id 定位找到这个li标签,代码如下:

)

以上代码获取id名为note-11772642的标签,需要注意的是查询 id 时添加#前缀,这是 css 选择器语法

根据 class 定位:

同样以刚才的为例

我们根据class=have-img去获取这个li标签

)

注意的是查询class时添加.前缀,这也是 css 选择器语法。

2.3 索引标签

在上一节的最后有个小问题,我们知道head标签在 html 中只有一个,而class名为have-img的li标签可能有多个,我们该

如何遍历所有的li标签呢? 又该如何单独的取某一个li呢?

首先我们可以逐个遍历


    pq_li = pq(li)

我们可以索引某一个li标签

使用.ep(index)函数。

)

2.4 寻找标签

同样回到刚刚的那张图

在上一步,我们已经找到了所有的li标签,也知道如何取索引其中的元素,但我们现在要准确定位到某一个元素,比如上图中id = note-11772642这个li标签。

这时候filter(selecter)就派上了用场

)

这样我们就找到了指定的这个li标签jquery遍历,需要注意的是,filter函数只能在同一级标签中寻找,比如在这里只能过滤li标签,而不能定位li标签下的a标签、div标签等。

当然,针对这种情况, pyquery 为我们提供了另外一个函数find(selector),该函数用于寻找子节点,继续以上图为例,寻找该特定 li 标签下的 p 标签

)

2.5 提取属性与值

以上我们讲了许多关于标签的知识,现在来谈谈怎么获取标签内的属性和标签包裹的文本,实际的爬虫项目中,通常这是最重要的一步,比如从a标签中获取链接、从li标签或者p标签中获取文本

获取属性:

使用attr()函数,以我们之前获取的li标签为例,获取其中的id属性

]

获取文本

使用text()函数, 以我们之前得到的p标签为例,获取其中的文本。

string = p_tag.text()

到此,在爬虫中会使用到的函数就是这些了。

3、小结

pyquery 还拥有操作文档树的能力,本篇文章着重介绍与爬虫相关的知识,所以就不再此详细叙述了,有兴趣的同学移步官方文档:

最后,既然我们都分析了简书首页,请大家根据所学内容爬取简书首页所有的文章标题和文章链接,然后打印出来吧,像下图一样

在公众号(Crossin的编程教室)里回复 pyquery,可获取本文的完整示例代码。

『码上行动』在线学习班正在开放中jquery遍历,详情回复码上行动

———END———
限 时 特 惠:本站每日持续更新海量各大内部创业教程,一年会员只需128元,全站资源免费下载点击查看详情
站 长 微 信:jiumai99

1.站长不是项目作者,不对项目解答及盈亏负责。
2.本站所有项目来源于投稿或购买自其他第三方,若本站侵犯了您的权益请 联系站长 进行删除处理。
找项目网
找项目网 关注:0    粉丝:0
这个人很懒,什么都没写
扫一扫二维码分享
×
Dragon