获取网页源码问题
相关代码:
def crawl_website(self, url):
"""
抓取订单数据
:param url: 订单页面的URL
:return:
"""
print("开始抓取订单数据")
self.driver.get(url=url)
while True:
# 判断是否进入到订单页面
if WebDriverWait(self.driver, 5, 0.5).until(EC.presence_of_element_located((By.CLASS_NAME, "pagination"))):
# page_source就是网页源代码
self.parse_html(content=self.driver.page_source)
# 点击翻页
self.driver.find_element_by_xpath("//button[@class='btn-next']").click()
if self.driver.find_element_by_xpath("//button[@class='btn-next']").get_attribute("disabled"):
break
# 拿到数据之后,执行浏览器退出
self.driver.quit()问题描述:
请问为什么driver.get()在循环的外面,这样理解起来像是下面的循环其实每次都是处理同一个页面,能否解释一下呢?
13
收起
正在回答
1回答
同学,你好!
selenium框架可以操作浏览器界面,在代码self.driver.find_element_by_xpath("//button[@class='btn-next']").click()点击翻页处进行点击,即可翻页到下一个页面,就不需要使用driver.get()请求页面,祝学习愉快~
相似问题
登录后可查看更多问答,登录/注册
Python全能工程师
- 参与学习 人
- 提交作业 16416 份
- 解答问题 4469 个
全新版本覆盖5大热门就业方向:Web全栈、爬虫、数据分析、软件测试、人工智能,零基础进击Python全能型工程师,从大厂挑人到我挑大厂,诱人薪资在前方!
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星