User-agent: *
Allow: /

# Разделы старого движка (/wp-content/, /en/, /tag/, /category/, ленты RSS)
# с 2026-08-21 отдают 410 Gone — см. GONE_BLOCK в app/scripts/gen-redirects.mjs.
#
# Оговорка, проверенная 28.08.2026: 410 получают только адреса БЕЗ расширения
# файла. На адрес с расширением nginx впереди Apache отвечает своим 404, не
# доходя до .htaccess, — правилами это не чинится.
#
# Поэтому 12 документов производителя из /wp-content/uploads/2020/ не удалены,
# а ВОЗВРАЩЕНЫ: файлы лежат в сборке и отдаются с диска. Индексировать их
# можно и нужно — по этим адресам Google до сих пор приводит людей.
#
# Запрета здесь БОЛЬШЕ НЕТ, и это не недосмотр. Закрытый в robots адрес не
# сканируется вовсе, а значит робот никогда не увидит ни 404, ни 410 — и
# адрес висит в индексе бессрочно. Ровно это и происходило: у Яндекса стояли
# Disallow на /wp-content/ и /en/, и удалить их «разом по префиксу» не
# получалось. Чтобы выпасть из индекса, страница обязана быть ДОСТУПНА и
# ответить кодом удаления.
#
# ⛔ Не возвращайте сюда Disallow ради «чистки индекса»: это отменит эффект
# от 410. Та же ошибка описана в этом файле с самого начала — не повторяйте
# её в третий раз.
#
# Про Яндекс отдельно, потому что тут легко запутаться. У него запрет в robots
# сам по себе исключает страницу из поиска, и прежние Disallow стояли здесь
# ради этого, а не по недосмотру. Взамен них 21.08.2026 те же 45 адресов
# (24 в /wp-content/, 21 в /en/) поданы в Вебмастере через «Удаление страниц»
# в режиме «По URL»: там основанием служит код ответа, а 404 и 410 у нас есть.
# Режим «По префиксу» для этого не годится — он принимает ТОЛЬКО Disallow,
# проверено отказом «Нет оснований для удаления» 21.08.2026.
# Лимиты Яндекса: 500 адресов в сутки по URL, 20 префиксов.
User-agent: Yandex
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: YandexAdditionalBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://rigmed.ru/sitemap.xml