Scrapyを使ったクローリング:pip install scrapyに失敗した時の解決方法(Twistedのインストール手順)

スポンサーリンク

pipを使ってScrapyをインストールしようとした時、下記のようなエラーが出た場合の解決方法めも。

failed with error code 1 in /.../pip-install-...j/twisted/‘
Twistedというパッケージ(Scrapyが内部で使ってるとかなんとかだった気がする)のインストールに失敗することがあり、これが無いからScrapy使えないよ!みたいな感じで怒られているので、これだけ個別にインストールしてやる。

なお、記事中のpipenvと書いてる部分は全てそのままpipに置き換え可能。
pipenvの詳しい説明は別の機会に譲るが、何かと便利なので是非調べて使ってみてほしい。特にnpmに慣れてる人だとpipよりも使いやすいと思う。

Scrapyの依存パッケージTwistedをインストールする

まずは通常通りpipでインストールを試みる。
$ pipenv install Twisted

これですんなりインストールに成功すれば、もう一度pipenv install Scrapyをすればok。

それでも失敗するなら

しかし、なぜかpipではTwistedをインストールできないことがある。
その場合、Twisted開発元のサイトから直接ソースをダウンロードしてインストールしてやる。

ダウンロードページは下記。
Directory listing for /Releases/Twisted/

こちらから適当なバージョンを選んでダウンロードする。

クリックすればそのままダウンロードが始まるので、解凍してインストールしてもいいが、下記のコマンドのようにwgetで取ってきて解凍の方が楽な気はする。

Finished processing dependencies for Twisted==xxxx とか出てくれば成功。
プロジェクトのディレクトに戻り、改めてScrapyのインストールを行う。

$ pipenv install Scrapy

確認のため$ scrapyと入力し、下記のようにScrapyのバージョンが表示されたら成功。
Scrapy 1.6.0 - no active project

参考にしたもの

pipでWebスクレイピングライブラリScrapyのインストール(Python3) – Qiita
Installation guide — Scrapy 1.6.0 documentation
Downloads – Twisted

ABOUTこの記事をかいた人

職業:遊び人。1日の半分は睡眠時間の超ロングスリーパー。元大手IT企業のサラリーマンだったが、ブラックな労働環境で体を壊した挙句クビになり、やむをえず独立。それ以来定職にもつかず、半分遊びのようなヌルい仕事をしながら適当に暮らしている。良く言えばノマドワーカー。 詳しいプロフィールはこちら