最近はSEOだけでなく、生成AIに自社サイトの情報を正しく読み取ってもらうための「AIEO（AI Engine Optimization）」も意識するようになりました。
AIEOというと、AIに理解されやすい記事を書くことが中心と思われがちです。
しかし実際に調べてみると、記事の内容以前に、AIクローラーがWebサイトへアクセスできる状態になっているかも重要だと分かりました。
今回は、ChatGPTからページを取得すると403エラーになる事象を調査した際の記録です。
そもそもAIEOとは？
AIEOは、生成AIやAI検索にWebサイトの情報を適切に取得・理解してもらうための考え方です。
SEOでは検索エンジンでの上位表示を目指しますが、AIEOでは、
- AIがページを取得できるか
- ページの内容を正しく理解できるか
- AIの回答で情報源として利用されるか
といった点も考える必要があります。
つまり、どれだけ良い記事を書いても、AIがそのページを取得できなければ、その先の話に進めません。
ChatGPTからアクセスすると403になる
今回、特定のページをChatGPTから読み取らせようとしたところ、403エラーが発生していました。
通常のブラウザからは問題なく閲覧できます。
そのため、単純なページの公開状態ではなく、AIクローラーに対するアクセス制御が原因ではないかと考えました。
最初はCDNやWAFなど、複数のセキュリティ機能を含めて調査しました。
その中で確認することになったのが、サーバー側のWAFです。
WAFの「PHP対策」が影響していた
今回利用していたXサーバーでは、WAFに複数の対策項目が設定されていました。
その中に「PHP対策」という項目があります。
サーバー会社へ確認したところ、この機能はPHPのセッションやファイル操作などに関連するアクセスを検知するもので、場合によっては検索エンジンやクローラーなどの正規アクセスでも検知され、403として遮断されることがあるとのことでした。
そこで原因を切り分けるため、一時的にPHP対策をOFFにして確認しました。
すると、それまで403になっていたページをChatGPTから正常に取得できるようになりました。
さらにPHP対策をONに戻して確認すると、再び403が発生しました。
この結果から、今回の事象についてはサーバー側WAFのPHP対策が何らかの形で影響している可能性が高いと判断しました。
robots.txtが原因とは限らない
AIクローラーの問題ということで、robots.txtも確認しました。
robots.txtにAIクローラーを拒否する設定がなければ、今回のような403の原因は別の場所にある可能性があります。
つまり、
「AIに読まれない＝robots.txtが原因」
とは限りません。
robots.txtを確認して問題がなければ、WAFやCDN、サーバー側のアクセス制御まで確認する必要があります。
ChatGPTだけでなく、AIクローラー全体を考える
今回の調査では、ChatGPT以外のAIについてもクローラーの扱いが異なることが分かりました。
例えば、サービスによって使用するクローラーやUser-Agentが異なります。
そのため、
「Googlebotは許可しているからAIも大丈夫」
とは限りません。
AIサービスごとにアクセス方法が異なるため、必要に応じてサーバー会社やインフラ担当者に確認することが重要です。
WAFをOFFにすれば解決、ではない
今回、検証のためにWAFのPHP対策をOFFにしました。
ただし、これはあくまで原因を切り分けるための対応です。
WAFをOFFにするとセキュリティ上のリスクが高まる可能性があります。
そのため、
「AIに読ませたいからWAFを全部OFFにする」
という対応ではなく、
AIクローラーを許可しながら、セキュリティも維持できる方法を検討する
ことが重要です。
AIEOではサーバー側の確認も必要
今回の調査を通して、AIEOは記事の書き方だけで完結するものではないと感じました。
確認しておきたいのは、例えば以下のような部分です。
- robots.txt
- WAF
- CDN
- AWSなどのアクセス制御
- AIクローラーのUser-Agent
- 403などのアクセスログ
特に「ブラウザでは見られるのに、AIからは取得できない」という場合は、サーバーやWAFまで確認すると原因が見つかる可能性があります。
まとめ
AIEOというと、AIに評価されやすい文章を作ることに目が行きます。
しかし、その前にAIがWebサイトへアクセスして、ページを取得できる状態なのかを確認することも重要です。
今回の検証では、
WAFのPHP対策をON → ChatGPTから403
WAFのPHP対策をOFF → ChatGPTから正常に取得
という結果を確認できました。
もちろん、すべてのサイトで同じ原因になるわけではありません。
ただ、AI検索や生成AIからの引用を意識するのであれば、SEOやコンテンツだけでなく、WAFやサーバー設定もAIEOの確認項目に入れておく必要があると感じた事例でした。
