为啥获取到的page_source一样

为啥获取到的page_source一样

import time

from selenium import webdriver
import re
import json


class Handle_webdriver(object):
   def __init__(self):
       self.driver = webdriver.Chrome()
       self.driver.maximize_window()

   def handle_job(self):
       self.driver.get("https://search.51job.com/list/010000,000000,0000,00,9,99,%20,2,1.html")
       input_keyword = 'golang'
       self.driver.find_element_by_id('keywordInput').send_keys(input_keyword)
       self.driver.find_element_by_class_name('p_but').click()

       while True:
           time.sleep(2)
           self.handle_parse(self.driver.page_source)
           self.driver.find_element_by_xpath("//li[@class='next']/a").click()

       self.driver.quit()
       
       
   def handle_parse(self, page_source):
       re_job_search = re.compile(r'window.__SEARCH_RESULT__\s=\s(.*?)</script>')
       job_data = re_job_search.search(page_source)

       info_list = []
       if job_data:
           job_data_list = json.loads(job_data.group(1)).get("engine_search_result")
           for job_item in job_data_list:
               info = {}
               info['job_name'] = job_item['job_name']
               info['company_name'] = job_item['company_name']
               info['company_address'] = job_item['workarea_text']
               info['money'] = job_item['providesalary_text']
               info['date'] = job_item['updatedate']
               info_list.append(info)
           print(info_list)



test_selenium = Handle_webdriver()
test_selenium.handle_job()


http://img1.sycdn.imooc.com//climg/5f5f294c0908326515660215.jpg

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕美 2020-09-14 17:49:13

同学,你好。51job网站进行了修改,在返回数据时返回到了js中,因此得不到对应的源码。该部分内容正在更新中,更新完成会通知同学的,请同学耐心等待。

祝学习愉快~~~~


  • 提问者 决殇 #1
    但是我这是从js中抓取的数据呀,我的问题是为啥page_source方法返回的页面不会随之变化呢??
    2020-09-15 18:35:00
  • 好帮手慕美 回复 提问者 决殇 #2
    同学,你好。该网站在返回源码时进行了调整,导致获取不到对应关键字的页面,同学可等课程更新后再学习。祝学习愉快~~~~
    2020-09-15 19:09:06
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
4.入门主流框架Scrapy与爬虫项目实战
  • 参与学习           人
  • 提交作业       107    份
  • 解答问题       1672    个

Python最广为人知的应用就是爬虫了,有趣且酷的爬虫技能并没有那么遥远,本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

了解课程
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师