スパイダリングの基本は外部サイトの特定URLをPHPで取得し、その中の特定文字列に挟まれた情報を抽出することです。
自前で外部サイトのWebサービスを作ることに似ています。
その為、「勝手Webサービス」と呼ばれたりする場合もあります。
基本的に検索エンジンのロボットと同じ考えで、先方の負荷を意識して行う必要があります。
リクエストがあるたびに相手先のデータを取得するのはマナー違反です。
最低限キャッシュは実装すべきでしょう。
ソース
Warning: highlight_file(/var/www/html/com.nekosuke.php/sample/sample_27.php): failed to open stream: No such file or directory in
/var/www/com.nekosuke.php/000027.html on line
54
Warning: highlight_file(): Failed opening '/var/www/html/com.nekosuke.php/sample/sample_27.php' for highlighting in
/var/www/com.nekosuke.php/000027.html on line
54