【前編】Javascriptの動的サイトはどうやってスクレイピングするの?

 

コインを増やす
仮想通貨の運用はマイニング(PoW)だけではありません。
コインを保持するだけで増えるPoSマイニングや、マスターノード構築という方法もあります。宜しければこちらもご確認してみてください!




 

前回に引き続き、スクレピングについて紹介していこうと思います。
「もうスクレイピングなら余裕だぜ」と思われる方がいるかもしれませんが、実は前回までの内容のみだと大きな落とし穴があるのです。

落とし穴とは!?

それは、、、JavaScript適用後のHTMLに対して一切スクレイピングできない事です!
対してJavaScriptで動的に値を取得しているサイトが結構な数存在しているのです。
phpQueryによるスクレイピングではJavaScript適用前のHTMLを取得しているため、JavaScriptで要素を追加したり、値を取得している部分は取得できないです。

Chromeによる確認

例えばchromeのデベロッパーツールを使用すればそのことが確認できます。
Chromeを開いた状態で
MacならCommand + option + U
WindowsならCtrl + U
これで表示されるものがphpQueryで取得できるものです。
MacならCommand + option + I
WindowsならCtrl + I
こちらで表示されるものは基本的にはJavaScript実行後(時間により変化する)のHTMLです。
よく比べてみるとサイトによって違いが生じているはずです。
他のブラウザでも同様に確かめられます。

じゃあどうすればいいの??

前置きが長くなってしまいましたが、JavaScript実行後のHTMLを取得してスクレイピングできる方法があるのです。
そのためにはPHP Phantomjsを使います。
PHP PhantomjsはPhantomjsヘッドレスブラウザというものでHTMLを読み込んでJavaScript実行後のHTMLを返してくれます。

まずは準備してみましょう!

PHP Phantomjsを使用するための準備をしましょう。
まずはComposerをインストールしましょう。
以下ではCentOS7環境を前提とします。
Composerのダウンロードとパスの通っているところへ移動

これでComposerのバージョンが表示されたならオッケーです。

ちょっと長くなってしまったので今回はこの辺りにしておきましょう。
次回で実際にPHP Phantomjsを用いてスクレイピングしてみましょう。

Simple PoS Pool

ここ最近人気が急上昇中のPoSマイニングプールです。PoSマイニングなので、コインを入れておくだけでザクザクとコインが増えていきます。

現在16のコインに対応しております。ユーザ数とともに登録規制などもあるので、アカウント作成だけでもしておいて損はないと思います。記事にもしてありますので、宜しければご確認ください。




ウォレット・取引所

今おススメ、有名なウォレット・取引所のリンクを張ります。各々の取引所では長所・短所(取扱通貨が異なる)があるため、全て作成しておいても損はないと思います(^。^)いつか利用するときが来るかもしれません。

KuCoinは現在人気がうなぎのぼりです。登録は無料なので、登録中止になる前に開設だけする事をおススメします。

bitFlyer ビットコインを始めるなら安心・安全な取引所で
ビットコイン取引高日本一の仮想通貨取引所 coincheck bitcoin



関連記事

安全に仮想通貨を保管しましょう

人気急上昇!

1日6%も増えるコイン!?DVRSコイン!



PoSマイニングで寝てても増える!?

特集

リアルタイム更新!!300弱のコインをご紹介!

おすすめ記事

  1. 最近、マスターノードという言葉が増えてきましたね。 ネット上では、、、、 …
  2. 第二回の本日はLILI Coinのご紹介です。 本日もお話の流れは以下で進めます。 …
  3. Invalid argument supplied for foreach() のエラー PHPで…
  4. 本日はUbuntuのプログラムをバックグラウンドで動かす方法です。 話の主軸はマイニングとして…
  5. 前記事はこちらから。 [clink url="http://bibouroku.blog/2018…
  6. 本日はUbuntuで「マイニングツールのCPU利用率を下げる方法」をご紹介します。 マイニング…
  7. 本日はAirdropで無料でコインを手に入れる前に必要な、事前作業について紹介します。 記事は…
  8. 本日はBitzeny、モナコイン、草コインを一つで対応できるマイニングプールについてご紹介します。 …
  9. 早速本題からです。 1月26日 12:57、下記情報がCoincheck公式twitterから…
  10. 今までGPUやCPUを用いたPoWマイニングやSimpole PoS PoolでのPoSマイニングを…

おススメGPU

No.1
NVIDIA GTX-1070





No.2
NVIDIA GTX-1080





No.3
NVIDIA GTX-1060





No.4
AMD RX570





No.5
NVIDIA GTX-1080Ti





No.6
AMD RX580

ページ上部へ戻る