AIクローラー

ebiz365 編集部 · 2026-09-05

AIクローラーとは、AI企業がウェブ文書を収集するために運用する自動プログラムで、企業ごとに用途の異なる複数種類を別々に運用しています。

たとえばOpenAIは検索回答用と学習用のクローラーを区別し、検索回答に表示されるにはOAI-SearchBotの許可を推奨しています。どれを許可するかはrobots.txtで個別に指定できます。

この用語を扱うガイド

すべての用語