老师，还有就是为什么添加了下载中间键后就必须同时添加user_agent呢？

同学你好：

1 下载中间键的作用就是防反爬虫机制的设置，在发起request请求前设置防止反爬虫机制。自定义下载中间键，在中间键中定义process_request()方法，那么所有的request请求都会执行process_request()方法，所以在该方法中设置user-agent是可行的。关于scrapy中间键的具体使用同学可以去参考官方的文档。

https://oner-wv.gitbooks.io/scrapy_zh/content/

2 如果不在中间键中设置user-agent，在settings文件中同样可设置了user-agent这个配置。两者选一个使用即可。

如果我解决了同学的问题，请采纳！学习愉快^_^。