スパイダリングの基本

スパイダリングの基本は外部サイトの特定URLをPHPで取得し、その中の特定文字列に挟まれた情報を抽出することです。
自前で外部サイトのWebサービスを作ることに似ています。
その為、「勝手Webサービス」と呼ばれたりする場合もあります。
基本的に検索エンジンのロボットと同じ考えで、先方の負荷を意識して行う必要があります。
リクエストがあるたびに相手先のデータを取得するのはマナー違反です。
最低限キャッシュは実装すべきでしょう。