scrapy抓取数据在进行下一页判断时,为什么不用selenium的显示等待进行判断有没有下一页而直接使用下下xpath呢?

qq_rz眞_0 2021-10-24

源自：Scrapy爬虫项目实战 1-1 课程介绍

5

收起

1回答

好帮手慕美 2021-10-25 10:23:58

同学，你好！不需要使用显示等待的。显示等待是selenium中的，当前项目不涉及该模块，因此是用不到的。

直接使用xpath()获取即可，能获取到表示有下一页，获取不到则表示没有该标签。

祝学习愉快！

提问者 qq_rz眞_0 #1

会不会存在网络加载较慢实际是有下一页的而在直接使用xpath()获取时下一页还没有加载出来的情况呢？

2021-10-25 16:20:40
好帮手慕美回复提问者 qq_rz眞_0 #2

同学，你好！不会的，获取xpath时是在response的基础上获取的，即请求之后返回的数据，只要存在返回的数据中都会有的。
祝学习愉快！

2021-10-25 17:08:24

相似问题

进行判断是否正确

为什么需要判断是否为字符串？不判断行不行？

视频中判断条件的问题

老师，我想问下如何在不相邻jsp页面之间使用a标签进行跳转

关于5-1flag判断问题，请老师解答一下

登录后可查看更多问答，登录/注册

Python全能工程师

参与学习人
提交作业 16233 份
解答问题 4470 个

全新版本覆盖5大热门就业方向：Web全栈、爬虫、数据分析、软件测试、人工智能，零基础进击Python全能型工程师，从大厂挑人到我挑大厂，诱人薪资在前方！

本课精华内容

问答作业

可变参数和参数规则不是很明白

54 1

为什么add_student函数报错

34 1

所有程序都突然运行不了了

39 2

请问这个下划线如何打出来才不会报错

211 30

三引号和斜杠的问题

72 1

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载