Ниже постарался расписать детали по каждому из пунктов этого аудита, чтобы у вас было понимание как это работает и для чего это нужно.
Website Technology CheckАналогично тому, как мы делаем проверку на скорость загрузки сайта для SEO, здесь представлена информация о перфомансе вашего сайта. Простыми словами, как быстро ИИ-боты могут получать доступ к контенту и есть ли он вообще.
Например, если у вас нет Sitemap.xml или контент рендерится на фронт части, скорее всего у ботов могут возникнуть сложности при парсинге и обработке вашего контента, что конечно же негативно повлияет на вашу видимость в ответах ИИ-чатов.
Agent Discovery & ReadabilityНа мой взгляд, это один из самых важных блоков. И хотя вокруг того же Llms.txt не утихают споры (работает это или нет), все крупные бренды на всякий случай создают его и добавляют себе на сайт.
Llms.txt работает по аналогии с Robots.txt. Только в Robot.txt мы прописываем техническую информацию о том что нужно парсить а что нет, где лежит карта сайта и так далее.
В Llms.txt мы задаем контекст. Чтобы бот при заходе на ваш сайт мог быстро обратить с этому файлу и понять о чем ваш бизнес, на кого вы таргетируетесь и какую проблему вы решаете.
Llms.txt можно сгенерировать в любой нейронке, просто дайте ей парочку примеров, как вариант вот
этот и вот
этот. И распишите от себя вводные про ваш бизнес.
Второй важный момент это Token economics. Простыми словами, как много токенов нужно сжечь боту, чтобы прочитать ваш сайт. Если на чтение уходит больше 40к токенов, то нейронка может просто недочитать все и какая-то важная информация о вашем бизнесе может потеряться.
Кстати, это полностью противоречит тому, как мы оптимизировали страницы для SEO. Там наоборот было важно, при оптимизации, отдельно взятой страницы, чтобы на ней было как можно больше разного контента (текст, видео, картинки и так далее). Для ИИ, если переборщить с этим, получится обратный эффект.
Третий важный момент в этом блоке это Markdown for agents. Markdown-версия сайта - это когда для части важных страниц (или для всего сайта) делают дополнительную облегченную версию чисто в текстовом формате .md. Без стилей, HTML и скриптов.
Обычно, такая версия сайта доступна по такому же адресу с добавлением .md на конце. Например: site.com/page - site.com/page.md). Идея в том, что ИИ легче читать информацию в таком виде, а значит он может меньше времени и ресурсов тратить на понимание вашего бизнеса. И следовательно бот будет чаще посещать ваш сайт и рекомендовать вас в своих ответах.
Но опять же повторюсь, прямой корреляции и доказательства этому нет. Я только могу судить по тому, что мы реализовали это на своих проектах и заметно больше начали получать трафика от ИИ-агентов.
AI Agent AccessЭто, пожалуй, самый важный пункт из всего технического аудита. Здесь можно посмотреть для каких ИИ-ботов ваш сайт доступен, а для каких - нет.
По-умолчанию, все сайты для ботов открыты, но чаще всего все проблемы связаны с тем, какие настройки указаны в вашем Cloudflare (если он стоит).
Не так давно, в своих соцсетях я писал, что с
15 сентября новым сайтам на Cloudflare по умолчанию включат блокировку ботов, которые обучают ИИ, и ботов-агентов, но только на страницах с рекламой. Поисковых ботов это не касается, их не блокируют.
Но вот в чем подвох. Googlebot это не два разных бота, а один на две задачи: он и добавляет сайт в поиск Google, и собирает данные для обучения ИИ. Cloudflare не умеет разделять эти задачи внутри одного бота. Если он попадает под блокировку как обучающий, то блокируется весь целиком. То есть, блокируя ИИ-обучение, можно случайно отключить и индексацию сайта в Google. Та же история с Applebot и Bingbot.
То есть, если вы видите, что ваш сайт закрыт для индексации этими ботами, проверьте ваши серверные настройки и настройки Cloudflare. Нет ли там спец ограничений.