小伙伴们，你们跟着老师的视频敲代码了吗，细心的小伙伴可能已经发现了，老师抓取到的订单数据比页面上显示的要多，确切的说是网页显示数据的2倍，这是为什么呢？下面小慕和大家一起来分析一下
1、打开浏览器的开发者模式，访问订单列表页面，在网页元素中搜索一个订单号，比如C5143484115349，你会发现，在网页中有两个相同的订单号C5143484115349
2、再仔细看，发现其中一个订单的class属性值包含is-hidden，此时的你是否恍然大悟呢，原来这是隐藏标签，在网页上不会显示出来，但xpath语句定位到了
3、将隐藏的属性过滤掉就可以啦，接下来动手编写代码实现一下吧
提示： 可以借助xpath contains()函数取反来实现此功能，相关知识点详见 阶段四 · 网络爬虫常用技术 3-4小节
登录后即可发布作业，立即登录
我的作业
全部作业 44
def parse_html(self, content):
"""
解析网页数据
:param content: 网页源代码
:return:
"""
html = etree.HTML(content)
items = html.xpath("//tbody/tr")
for i in items:
# 每一个i就是每一条订单数据
# datas = i.xpath("./td/div/text()")
datas = i.xpath("./td[not(contains(@class,'is-hidden'))]/div/text()")
status = "".join(i.xpath("./td[not(contains(@class,'is-hidden'))]//div[@class='tags']/span/text()"))
if len(datas) > 0 and status:
data = {
"order_id": datas[0],
"order_num": datas[1],
"order_value": datas[2],
"price": datas[3],
"status": status
}
print(data)
# 插入到mongo
self.mycollection.insert_one(data)