tcggetBETA

tcggetBot 収集ポリシー

User-Agent: tcggetBot/1.0 (+https://tcgget.com/about-bot)

何をするボットか

tcgget は韓国・日本・アメリカのポケモンカードの発売・予約・抽選の日程と相場をまとめて表示するサービスです。このボットが集めるのは 公開された告知と動画一覧のタイトル・リンク・日付だけです。本文全体を複製・再掲載することはなく、収集した項目は常に原文へリンクします。

守っていること

  • robots.txt を先に確認します。 禁止された経路にはリクエスト自体を送りません。
  • robots.txt を 読めなければ収集しません。 404 は制約なしとみなしますが、タイムアウトや5xxは「分からない」であって「許可」ではありません。
  • Crawl-delay を守ります。 明示がない場合は保守的に2秒を空けます。
  • 公式のRSS・APIがあれば 常にそちらを使います。 HTMLのクローリングは他に手段がない場合のみです。
  • 収集の頻度は出典ごとに 1日3回です。訪問者が来るたびにリクエストするのではなく、まとめて取得します。
  • ログインや有料の壁の向こうにあるものは収集しません。アクセス制限を回避することもしません。

現在自動収集している出典 8 か所

意図的に収集していない出典 5 か所

  • PokéBeachrobots.txt は許可しているが、サーバーが識別されたボットの UA を403で拒否する（フィード・サイトマップ・ホームのすべて）。回避するにはブラウザのふりをする必要があり、それは技術的なアクセス制御の回避にあたるため行わない。
  • Nintendo Liferobots.txt 自体が403で塞がれている。ルールを読めなければ収集しないという原則に従い除外する。
  • Serebii.netrobots.txt は許可しているが RSS がなく、ホームのリンクがすべて図鑑ナビゲーションのため、汎用の抽出器では記事を取り出せない。サイト専用のパーサーは構造が変わると静かに空を返すようになるので作らない。
  • Naver カフェ（ポケモンカードTCG）ログインの壁の向こうにあるコンテンツで、自動収集は利用規約違反にあたる。公開されている投稿のみ人が確認して反映する。
  • KREAM トレーディングカード公開APIがなく、規約が自動収集を制限している。相場は公開ランキングページを人が確認して反映する。

収集をご希望でない場合

最も確実な方法は、サイトの robots.txt に以下を追加することです。次回の収集からすぐ反映されます。

User-agent: tcggetBot
Disallow: /

メールでご依頼いただいても結構です。確認のうえ一覧から除外し、ご回答します — contact@tcgget.com