请问现在common里的value找不到相应的汽车品牌了，应该怎么找呢

而且网页内文本内容几乎没有所要找的汽车品牌的信息

import requests
 
 
url="https://mapi.guazi.com/car-source/carList/pcList?osv=Unknown&minor={}&sourceType=&ec_buy_car_list_ab=&location_city=&district_id=&tag=-1&license_date=&auto_type=&driving_type=&gearbox=&road_haul=&air_displacement=&emission=&car_color=&guobie=&bright_spot_config=&seat=&fuel_type=&order=7&priceRange=0,-1&tag_types=&diff_city=&intention_options=&initialPriceRange=&monthlyPriceRange=&transfer_num=&car_year=&carid_qigangshu=&carid_jinqixingshi=&cheliangjibie=&page=1&pageSize=20&city_filter=12&city=12&guazi_city=12&qpres=562084751130124288&platfromSource=wap&versionId=0.0.0.0&sourceFrom=wap&deviceId=b3739738-67cf-4717-8771-de994bc63a6a"
header={
    "client-time": "1658075729",
    "verify-token": "ce1b9dfd413fc620cb2a4bad9d8c378e",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
}
 
response=requests.get(url=url,headers=header)
with open("brands_dazhong.txt","w",encoding="utf-8") as f:
    f.write(response.text)

import scrapy
import json
 
class GuaziSpider(scrapy.Spider):
    name = 'guazi'
    allowed_domains = ['guazi.com']
    # start_urls = ['http://guazi.com/']
    def start_requests(self):
       #发送列表页请求
        with open("brands.txt","r",encoding="utf-8") as f:
            brands_data=f.read()
        brands_list=json.loads(brands_data).get("data").get("hot_keywords")
        for brand in brands_list:
            url="https://mapi.guazi.com/car-source/carList/pcList?osv=Unknown&minor={}&sourceType=&ec_buy_car_list_ab=&location_city=&district_id=&tag=-1&license_date=&auto_type=&driving_type=&gearbox=&road_haul=&air_displacement=&emission=&car_color=&guobie=&bright_spot_config=&seat=&fuel_type=&order=7&priceRange=0,-1&tag_types=&diff_city=&intention_options=&initialPriceRange=&monthlyPriceRange=&transfer_num=&car_year=&carid_qigangshu=&carid_jinqixingshi=&cheliangjibie=&page=1&pageSize=20&city_filter=12&city=12&guazi_city=12&qpres=562070876095696896&platfromSource=wap&versionId=0.0.0.0&sourceFrom=wap&deviceId=82c54aeb-cfe4-414a-aabb-c7c4dadb4c1b".format(brand.get("filterValue"))
            yield  scrapy.Request(url=url,callback=self.parse)
            #仅发送第一页请求，限定在一个品牌中的
            break
 
 
    def parse(self, response):
        pass

破邪返瞳 2022-07-18

源自：实战：抓取二手车网站汽车数据 5-4 拥抱变化——创建Scrapy项目，请求列表页

收起

1回答

好帮手慕凡 2022-07-18 14:24:47

同学，你好！

网站近期发生改动，已经联系老师更新课程，同学也可以在异步请求的list中找到所有的品牌信息，再进行爬取，如下图：

祝学习愉快~

收起回答

提问者破邪返瞳 #1

这个地方是不能连着get吗？那应该怎么处理这么多层的呢

2022-07-18 17:07:29
好帮手慕凡回复提问者破邪返瞳 #2

同学，你好！
0和1等数字是下标，不是作为一个key值使用，同学可以参考以下代码
1
2
brands_list=json.loads(brands_data)
brands_list["data"][1]["filterValue"]["common"]["A"][0]
祝学习愉快~

2022-07-18 17:29:17
好帮手慕凡 #3

同学，你好！
0和1等数字是下标，不是作为一个key值使用，同学可以参考以下代码
1
2
brands_list=json.loads(brands_data)
brands_list["data"][1]["filterValue"]["common"]["A"][0]
祝学习愉快~

2022-07-18 17:34:14