老师我这个没有爬取出来数据，是哪里写的不对

weixin_慕少7311860 2023-02-26

源自：Scrapy-Redis分布式爬虫实战 2-4 Scrapy抓取电影网站数据

收起

1回答

时间， 2023-02-26 10:35:50

同学，你好！可以先卸载scrapy和pyopenssl后，重新安装下看是否可以。先安装pyopenssl再安装scrapy

1、pip uninstall scrapy

2、pip uninstall pyopenssl

3、pip install pyOpenSSL==22.0.0

4、pip install scrapy

祝学习愉快！

收起回答

提问者 weixin_慕少7311860 #1

重新安装之后还是一样

2023-02-26 10:38:36

提问者 weixin_慕少7311860 #2

e>scrapy crawl get_movie
Traceback (most recent call last):
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\runpy.py", line 193, in _ru
n_module_as_main
    return _run_code(code, main_globals, None,
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\runpy.py", line 86, in _run
_code
    exec(code, run_globals)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\Scripts\scrapy.exe\__main__.py"
, line 4, in <module>
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\__init
__.py", line 15, in <module>
    from scrapy.spiders import Spider
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\spider
s\__init__.py", line 99, in <module>
    from scrapy.spiders.crawl import CrawlSpider, Rule
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\spider
s\crawl.py", line 15, in <module>
    from scrapy.utils.spider import iterate_spider_output
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\utils\
spider.py", line 5, in <module>
    from scrapy.utils.defer import deferred_from_coro
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\utils\
defer.py", line 29, in <module>
    from scrapy.utils.reactor import _get_asyncio_event_loop, is_asyncio_reactor_installed
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\scrapy\utils\
reactor.py", line 6, in <module>
    from twisted.internet import asyncioreactor, error
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\twisted\inter
net\asyncioreactor.py", line 19, in <module>
    from twisted.internet.posixbase import (
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\twisted\inter
net\posixbase.py", line 16, in <module>
    from twisted.internet import error, tcp, udp
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\twisted\inter
net\tcp.py", line 38, in <module>
    from twisted.internet._newtls import (
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\twisted\inter
net\_newtls.py", line 18, in <module>
    from twisted.protocols.tls import TLSMemoryBIOFactory, TLSMemoryBIOProtocol
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\twisted\proto
cols\tls.py", line 42, in <module>
    from OpenSSL.SSL import Connection, Error, SysCallError, WantReadError, ZeroReturnError
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\OpenSSL\__ini
t__.py", line 8, in <module>
    from OpenSSL import crypto, SSL
  File "c:\users\administrator\appdata\local\programs\python\python38\lib\site-packages\OpenSSL\crypt
o.py", line 3268, in <module>
    _lib.OpenSSL_add_all_algorithms()
AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'

2023-02-26 10:41:55

时间，回复提问者 weixin_慕少7311860 #3

同学，你好！
1、同学可以先卸载掉pyopenssl，安装下最新版本看是否可以pip install pyOpenSSL，是23.0.0版本
2、若还是有问题同学可以重新创建个新的虚拟环境，重新安装下需要的包后再运行程序看是否可以
祝学习愉快！

2023-02-26 13:31:27