PHP

【後編】Javascriptの動的サイトはどうやってスクレイピングするの?

今回でスクレイピングについては最終回になります。
前回まででComposerのインストールまでが完了しているのでその続きから始めていきましょう。
環境はCentOS7です。

PHP Phantomjsのインストール

まずはスクレイピングを行うディレクトリを作成して移動しましょう

その後composer.jsonを下記のように作成してください。

作成ができたらPHP Phantomjsをインストールします。

インストールできたらbin,vendor,composer.lockが作成されているはずです。
これでPHP Phantomjsを実行できる環境が整いました。





PHP Phantomjsを使ったスクレイピング

実際にどのように使うかというとこんな感じで使います。

これでHTMLが取得できます。
今までより少しややこしいかもしれませんが、これでJavaScriptを使用している部分もきちんと取得できます。
ただ一つ注意点があります。
PHP Phantomjsで取得できるHTMLは文字列なので直接DOM操作ができません

まとめ

計4回を通してやってきたスクレイピングについてですが、皆様の参考になれば幸いです。
色々なサイトから自分の欲しい情報が自動で取得できるようになれば作業効率が格段にあがるはずです。
最後にもう一度言いますが、過度なアクセスは絶対に控えてください。


ブログランキング

最後までお読みいただき有難うございました。もし少しでもご参考になったり、少しでもイイナ!と思っていただけましたらポチっと押して頂けると嬉しいです。


人気ブログランキング

にほんブログ村 IT技術ブログへ
にほんブログ村

仮想通貨チャート

2018-01-18 / 11時20分現在のコインチャートはこちら!購入したい方は下の取引所・ウォレットを無料で開設してみてください!

ウォレット・取引所

 

今おススメ、有名なウォレット・取引所のリンクを張ります。各々の取引所では長所・短所(取扱通貨が異なる)があるため、全て作成しておいても損はないと思います(^。^)いつか利用するときが来るかもしれません。

KuCoinは現在人気がうなぎのぼりです。登録は無料なので、登録中止になる前に開設だけする事をおススメします。

bitFlyer ビットコインを始めるなら安心・安全な取引所で
ビットコイン取引高日本一の仮想通貨取引所 coincheck bitcoin
 

関連記事

  1. API

    え?20秒でわかる?Coincheckの仮想通貨レートのAPIリクエスト方法について

    10秒で理解できると記載したので方法だけ簡潔にまとめます。なおPHPに…

  2. PHP

    【前編】Javascriptの動的サイトはどうやってスクレイピングするの?

    前回に引き続き、スクレピングについて紹介していこうと思います。「も…

  3. API

    コピペで動くGoogle Cloud Vision API!!サンプルコード有!

    Google Vision APIの解説です。僕はPHPで作成している…

  4. PHP

    【前編】PHPで簡単にスクレイピングする方法

    皆さんはWebサイトからある特定の情報を取ってきたいと思ったことはあり…

  5. PHP

    【PHP】文字列の長さを取得・確認するには?

    文字列の長さを取得・確認するには?まとめサイト作成をしていると、あ…

コメント

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

人気記事

  1. マイニング

    マイニングしたBitzeny!どうやって現金化するの?
  2. API

    コピペで動くGoogle Cloud Vision API!!サンプルコード有!…
  3. OS

    UbuntuでBitzenyをCPUマイニングをしてみよう!
  4. マイニング

    Bitzeny、モナコイン、草コインのマイニングプールの登録方法について
  5. PHP

    【前編】Javascriptの動的サイトはどうやってスクレイピングするの?
PAGE TOP