Python2.7Scrapyフレームワークのインストール手順のチュートリアル

卒業設計の要件に従って、ウェブサイトから大量のデータを収集する必要があるため、Scrapyフレームワークを使用することで、そのプロセスを大幅に簡単にすることができます。なぜなら、Scrapyはウェブサイトのデータを爬虫、構造化データを抽出するためのアプリケーションフレームワークとして書かれているからです。それで、Scrapyフレームワークのインストールへの旅が始まりました。このプロセスはとても快適ではありませんでした。さまざまなエラーが発生しましたが、最終的にはScrapyフレームワークがインストールされました。以下にScrapyフレームワークのインストールについてまとめます。

1.pythonインストール2.7

ScrapyはPython3.0を再インストールしました。3.0を再インストールしました。2.7(python2.7パッケージをインストールする際、Python2.7のとき、自動的に環境変数を設定するオプションがあります。ここでオプションを選択することをお勧めします。これにより、後で自分で環境変数を追加する手間が省けます。自分で環境変数を追加する場合、実際にインストールしたパスに基づいて、システムの環境変数pathに以下の2つの文を追加します。

環境を設定した後、私たちがインストールおよび設定が成功したかどうかをテストします。cmdでpython –versionと入力すると、正しいpythonバージョンが表示されたら成功です。表示されない場合は、cmdを再起動してみてください。

2.pywin32

pythonをインストールおよび設定した後、2.7その後、Scrapyを直接インストールすることはできません。まず、Scrapyが依存するいくつかのツールをインストールする必要があります。次にpywin32（pywin32パッケージをインストールする際は、常に「次」を選択してください。

3.pipインストール

pipは、比較的使いやすいオンラインソフトウェアインストールツールであり、easy installに似ています。私たちはpipをインストールしますので、今後のソフトウェアインストールではpip installコマンドを使用できます。まず、get-pip.py(get-pip.pyファイル）をダウンロードした後、cmdでインストールします。まず、ファイルが存在するディレクトリに移動して、python get-pip.pyコマンドを使用してインストールすることができますが、最も困った問題が発生しました。このファイルは、自動的に設定ファイルをCドライブのユーザーファイルディレクトリに書き込むため、私のユーザーディレクトリが中国語名であるため、エンコードエラーが発生します。

資料を探してみた後、ついに問題を解決しました。中国語のパス問題を解決するために、D:\python27\Lib\site-packagesのディレクトリ下に新しい名前の
sitecustomize.pyのファイルです。

その後、ファイル内に以下のコードを入力してください：

import sys
reload(sys)
sys.setdefaultencoding('gbk')

もちろん、必ずgbkエンコードに設定する必要はありません。自分のコンピュータのエンコードに合わせて設定してください。これで、私たちの中国語のパス問題は解決しました。cmdを再起動して、pipインストールコマンドを実行すると、pipがスムーズに完了します。インストールが完了したら、検証を行いましょう。cmdでpip –versionと入力すると、正しいバージョンが表示されたら正しいことを示します。

4.lxml インストール

pip インストールが完了した後、pip install lxml コマンドを使用して簡単にインストールできると思っていましたが、予期せぬことが起こりました。pip の使用には VC が必要なため、2008の環境で、かつ、2008の2013それでもうまくいかない場合は、このツールを使用するために、ドゥア娘に尋ねて、最終的に解決策を見つけました。マイクロソフトが VcForPython（VCForPython インストールパッケージ）を提供していることを知り、VC をインストールする必要がなくなりました。2008、その後、pip install lxml を使用してインストールできます。

5.pyOpenSSL インストール

このツールをインストールする際には、pip install pyOpenSSL コマンドを使用してインストールできます。インストールの速度はネットワークの速度に依存します。

6.Scrapy インストール

ようやく困難な一連の経験を乗り越え、Scrapy フレームワークをインストールすることができます。cmd で pip install Scrapy コマンドを入力した後、成功の喜びを楽しむことができます。インストールが完了した後、cmd で Scrapy を入力して、実際にインストールが成功したかどうかを確認します。

ようやくインストールが完了しました。少し達成感があります。

これでこの記事はすべて終わりです。皆様の学習に役立つことを願っています。また、ナイアラトレーニングのサポートをどうぞ。

声明：この記事の内容はインターネットから収集され、著作権者に帰属します。インターネットユーザーが自発的に貢献し、自己でアップロードしたものです。このサイトは所有権を持ちません。また、人工編集は行われていません。著作権侵害が疑われる場合は、メールで notice#w までお知らせください。3codebox.com（メール送信時、#を@に変更して報告してください。関連する証拠を提供し、一旦確認ができたら、このサイトは即座に侵害疑いのコンテンツを削除します。）