老师，我想咨询一下如何把scrapy部署成一个web服务接口可以供网络调用

比如：我想调用一个url ， https://www.xxx.com?keyword=hello

keyword里面的参数值是我们传过去的，然后调用上面的url之后，服务器能获得我们传输过去的参数值，调用scrapy，然后根据具体值来抓取不同的内容

慕粉6335188 2019-10-15

源自：实战：抓取二手车网站汽车数据 4-1 推送爬虫项目至服务器

28

收起

1回答

余生______ 2019-10-16 12:03:37

你的功能是要线上部署而且还需要通过网址访问。你需要买阿里云服务器（其他的也可以）和域名。服务器用于部署，域名用于访问。

你可以根据博客中写的进行部署：https://www.jianshu.com/p/94ea75531597

还要了解下爬虫项目部署用到的Scrapyd：https://blog.csdn.net/superatom01/article/details/85019492

提问者慕粉6335188 #1

您好，谢谢您的回复，但是还有个问题，但是如果要传参，需要用到哪个接口呢？比如我们需要根据我们发送的关键词调用百度的搜索，每次调用的词都是请求发送过去的，这个时候如何处理呢？

2019-10-16 12:36:09
余生______ 回复提问者慕粉6335188 #2

同学可以写一个方法用于得到访问的url中的参数，再调用爬虫项目，将参数进行传递。或者用前端的标签将搜索的关键词传递到后台，再根据传递的关键词进行爬取数据。你可以搜一些相关的资料，应该会有。

2019-10-16 14:45:29
提问者慕粉6335188 回复余生______ #3

谢谢老师的回答，web基础的传参我明白的，但是不明白如何通过 Scrapyd 传参给 scrapy？项目的需求是需要 scrapy 是可以动态根据客户端请求的的参数值，而抓取相关的数据，然后把结果集返回给客户端。（当然如果不使用scrapy，使用原生的等方法也是可以操作的）现在核心的是不太明白 scrapy如何接收参数？ scrapyd 是可以对scrapy打包部署等，但是没有看到如何通过scrapyd能够传参的方法介绍，希望老师能帮忙指点

2019-10-17 10:23:34

点开查看后面2条评论

相似问题

web服务器和应用服务器的问题

这里host设置为0.0.0.0的用意是？

微服务与分布式

关于服务器的问题

老师，如何部署小程序api服务端域名不要加端口号，比如：8080

登录后可查看更多问答，登录/注册

4.入门主流框架Scrapy与爬虫项目实战

参与学习人
提交作业 107 份
解答问题 1672 个

Python最广为人知的应用就是爬虫了，有趣且酷的爬虫技能并没有那么遥远，本阶段带你学会利用主流Scrapy框架完成爬取招聘网站和二手车网站的项目实战。

本课精华内容

问答作业

shell脚本老是报错

45 8

没有办法取到全部城市数据，要怎么操作呢

40 3

获取全部城市的问题

111 3

那个思科的下载不了啊。。。

30 1

数据爬取问题

44 19

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载