获取网页源码问题
相关代码:
def crawl_website(self, url): """ 抓取订单数据 :param url: 订单页面的URL :return: """ print("开始抓取订单数据") self.driver.get(url=url) while True: # 判断是否进入到订单页面 if WebDriverWait(self.driver, 5, 0.5).until(EC.presence_of_element_located((By.CLASS_NAME, "pagination"))): # page_source就是网页源代码 self.parse_html(content=self.driver.page_source) # 点击翻页 self.driver.find_element_by_xpath("//button[@class='btn-next']").click() if self.driver.find_element_by_xpath("//button[@class='btn-next']").get_attribute("disabled"): break # 拿到数据之后,执行浏览器退出 self.driver.quit()
问题描述:
请问为什么driver.get()在循环的外面,这样理解起来像是下面的循环其实每次都是处理同一个页面,能否解释一下呢?
13
收起
正在回答
1回答
同学,你好!
selenium框架可以操作浏览器界面,在代码self.driver.find_element_by_xpath("//button[@class='btn-next']").click()点击翻页处进行点击,即可翻页到下一个页面,就不需要使用driver.get()请求页面,祝学习愉快~
相似问题
登录后可查看更多问答,登录/注册
Python全能工程师
- 参与学习 人
- 提交作业 16233 份
- 解答问题 4470 个
全新版本覆盖5大热门就业方向:Web全栈、爬虫、数据分析、软件测试、人工智能,零基础进击Python全能型工程师,从大厂挑人到我挑大厂,诱人薪资在前方!
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星