【前編】Javascriptの動的サイトはどうやってスクレイピングするの?

 



 

前回に引き続き、スクレピングについて紹介していこうと思います。
「もうスクレイピングなら余裕だぜ」と思われる方がいるかもしれませんが、実は前回までの内容のみだと大きな落とし穴があるのです。

落とし穴とは!?

それは、、、JavaScript適用後のHTMLに対して一切スクレイピングできない事です!
対してJavaScriptで動的に値を取得しているサイトが結構な数存在しているのです。
phpQueryによるスクレイピングではJavaScript適用前のHTMLを取得しているため、JavaScriptで要素を追加したり、値を取得している部分は取得できないです。

Chromeによる確認

例えばchromeのデベロッパーツールを使用すればそのことが確認できます。
Chromeを開いた状態で
MacならCommand + option + U
WindowsならCtrl + U
これで表示されるものがphpQueryで取得できるものです。
MacならCommand + option + I
WindowsならCtrl + I
こちらで表示されるものは基本的にはJavaScript実行後(時間により変化する)のHTMLです。
よく比べてみるとサイトによって違いが生じているはずです。
他のブラウザでも同様に確かめられます。

じゃあどうすればいいの??

前置きが長くなってしまいましたが、JavaScript実行後のHTMLを取得してスクレイピングできる方法があるのです。
そのためにはPHP Phantomjsを使います。
PHP PhantomjsはPhantomjsヘッドレスブラウザというものでHTMLを読み込んでJavaScript実行後のHTMLを返してくれます。

まずは準備してみましょう!

PHP Phantomjsを使用するための準備をしましょう。
まずはComposerをインストールしましょう。
以下ではCentOS7環境を前提とします。
Composerのダウンロードとパスの通っているところへ移動

これでComposerのバージョンが表示されたならオッケーです。

ちょっと長くなってしまったので今回はこの辺りにしておきましょう。
次回で実際にPHP Phantomjsを用いてスクレイピングしてみましょう。

Simple PoS Pool

ここ最近人気が急上昇中のPoSマイニングプールです。PoSマイニングなので、コインを入れておくだけでザクザクとコインが増えていきます。

現在16のコインに対応しております。ユーザ数とともに登録規制などもあるので、アカウント作成だけでもしておいて損はないと思います。記事にもしてありますので、宜しければご確認ください。




ウォレット・取引所

今おススメ、有名なウォレット・取引所のリンクを張ります。各々の取引所では長所・短所(取扱通貨が異なる)があるため、全て作成しておいても損はないと思います(^。^)いつか利用するときが来るかもしれません。

KuCoinは現在人気がうなぎのぼりです。登録は無料なので、登録中止になる前に開設だけする事をおススメします。

bitFlyer ビットコインを始めるなら安心・安全な取引所で
ビットコイン取引高日本一の仮想通貨取引所 coincheck bitcoin



関連記事

安全に仮想通貨を保管しましょう

人気急上昇!

1日6%も増えるコイン!?DVRSコイン!



PoSマイニングで寝てても増える!?

特集

リアルタイム更新!!300弱のコインをご紹介!

おすすめ記事

  1. 本日はUbuntuで「マイニングツールのCPU利用率を下げる方法」をご紹介します。 マイニング…
  2. Invalid argument supplied for foreach() のエラー PHPで…
  3. こんなエラーでたら [crayon-5ade33f3975a3968772407/]  …
  4. 皆さまお久しぶりです。 ここ最近はPoWマイニングをして、PoSマイニングにまわしてといったル…
  5. 本日はいつもと違った記事で、コインリリースの記事となります。 その名も、ゲーマーの為のコインD…
  6. 備忘録のような記事となります。 GCEでマイニングプールを作っているのですが、ウォレットを沢山…
  7. ubuntuでウォレットをコンパイルするときの魔法の呪文です。 [clink url="http:…
  8. 今日はWordpressの投稿画面のクイックタグをプラグインなしで追加する方法について紹介したいと思…
  9. ついにSimple PoS Poolでのマイニングも30日、約1カ月を迎えました。 本日の記事…
  10. 草コインをCPUマイニングしてみよう!第四段です。 本日はMyriadコインをマイニングしてみ…

おススメGPU

No.1
NVIDIA GTX-1070





No.2
NVIDIA GTX-1080





No.3
NVIDIA GTX-1060





No.4
AMD RX570





No.5
NVIDIA GTX-1080Ti





No.6
AMD RX580

ページ上部へ戻る