老师我把page写的好大,还是能获取到数据

老师我把page写的好大,还是能获取到数据

import scrapy


class AppSpider(scrapy.Spider):
    name = "app"
    allowed_domains = ["search.jd.com"]
    start_urls = ["https://list.jd.com/list.html?cat=1123713%2C3258&page=90907865&s=68971&click=0"]

    def parse(self, response):
        lis = response.xpath('//*[@id="J_goodsList"]/ul/li')
        nac = response.xpath('//*[@id="J_bottomPage"]/span[1]/a/em/text()')
        bq = response.xpath('//*[@id="J_goodsList"]/ul/li[38]/div/div[6]/a/text()')
        print(lis)
        # for i in lis:
        #     title = i.xpath('.//div/div[3]/a/em/text()').get()
        #     price = i.xpath('.//div/div[2]/strong/i/text()').get()
        #     print(title, price)

https://img1.sycdn.imooc.com//climg/64b7f6f709f94db519291149.jpg

正在回答 回答被采纳积分+1

登陆购买课程后可参与讨论,去登陆

1回答
好帮手慕小猿 2023-07-20 10:43:47

同学,你好!同学想爬取哪的数据,爬取的是哪个页面的url ,可以截图方便老师查看。同学若是想获取下一页的数据,同学可多点击几页数据,看每页之间的数据变化,找下规律。

祝学习愉快~

  • 提问者 吴老师在线叛逃 #1

    视频里老师把page的值写到上千之后就无法获取数据了,为什么我还是可以获取数据啊

    2023-07-20 11:28:33
  • 同学,你好!网站进行了迭代,已经改版了。最大数显示的是最后一页,第100页的内容

    https://img1.sycdn.imooc.com//climg/64b8b1c809ed349817190424.jpg

    同学可对爬取页数进行下判断,若是page<=100,则获取我们想要的数据

    https://img1.sycdn.imooc.com//climg/64b8b26009c948d211340378.jpg


    祝学习愉快~

    2023-07-20 12:05:26
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师