AIクローラーによる過剰アクセスの発生をうけ、対策としてサイト構造化データファイル「llms.txt」(Large Language Model Specifications) を公開しました。 LLMに適切なクロール方法を指示し、サイトリソースの効率的な利用を意図して反映した指示内容について紹介させていただきます。 LLMに適切なクロールを促すため、llms.txtに反映した指示内容について紹介します。 設置 マークダウン形式のテキストファイルを作成し、robots.txtや、エラーページを格納するS3バケットに保存。 以下のURLで公開しました。 https://dev.classmethod.jp/llms.txt llms.txt 内容 user-agent 特定のLLMに限定せず、すべてのAIクローラーに適用されるよう設定しました。
