Файл robots.txt: як налаштувати та що ним можна закрити

Файл robots.txt: як налаштувати та що ним можна закрити

Найпоширеніша помилка з robots.txt починається з неправильного розуміння того, що він взагалі робить. Більшість інструкцій подають його як спосіб «закрити сторінку від індексації». Це не так, і саме через це припущення сайти втрачають трафік.

robots.txt керує скануванням — тобто тим, які адреси робот має право завантажити. Він не керує індексацією — тим, що потрапляє у видачу. Різниця здається формальною рівно до моменту, коли закрита директивою Disallow сторінка з’являється в результатах пошуку з приміткою, що опис недоступний.

Розбираємо, що файл справді вміє, як його скласти й перевірити і які помилки в ньому обходяться найдорожче.

Що robots.txt робить і чого не робить

Робить: повідомляє пошуковим роботам, які розділи сайту не потрібно обходити. Це економить ресурс сканування на великих сайтах і закриває службові зони від зайвої уваги.

Не робить: не видаляє сторінку з індексу і не гарантує, що вона туди не потрапить. Якщо на закриту адресу ведуть посилання, пошукова система може додати її у видачу — без тексту й опису, бо завантажити сторінку їй заборонено. У Search Console це відображається статусом «Проіндексовано, попри блокування у файлі robots.txt».

Звідси головне практичне правило: що треба прибрати з пошуку — закривається тегом noindex, а не robots.txt. І сторінка при цьому має залишатися доступною для сканування, інакше робот просто не побачить вашого noindex. Дві вказівки одночасно скасовують одна одну.

Перевірити, що насправді потрапило в індекс, можна способами з матеріалу про те, як перевірити індексацію сайту (/blog/yak-pereviryty-indeksatsiyu-sajtu).

Де лежить файл

Строго в корені домену: https://site.com/robots.txt. Не в підпапці, не з іншою назвою, назва — маленькими літерами.

Кілька нюансів, про які забувають:

• для кожного піддомену потрібен свій файл: blog.site.com/robots.txt — це окремий файл;
• http і https формально вважаються різними хостами;
• файл має віддавати код 200. Якщо він віддає 404, робот вважає, що обмежень немає, і сканує все. Якщо віддає помилку 500 — це гірше: сервер міг припинити сканування сайту до відновлення доступу.

Директиви

User-agent — для якого робота правила. * означає «для всіх».

Disallow — що не сканувати.

Allow — виняток із заборони, дозволяє окремий шлях усередині закритого розділу.

Sitemap — повна адреса карти сайту. Вказується з протоколом і доменом, може бути кілька рядків.

Спецсимволи: * замінює будь-яку послідовність символів, $ позначає кінець адреси. Рядок, що починається з #, — коментар.

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=
Allow: /admin/public-page/

Sitemap: https://site.com/sitemap.xml

Що вже не працює і лише захаращує файл:

• noindex у robots.txt — Google перестав підтримувати цю директиву ще у 2019 році;
• Crawl-delay — Google її ігнорує;
• Host — застаріла директива, залишок від Яндекса.

Що закривати варто

• адмінку та службові каталоги системи;
• кошик, оформлення замовлення, особистий кабінет;
• сторінки результатів внутрішнього пошуку;
• сторінки подяки після заявки й інші технічні;
• тестові піддомени та копії сайту (там — повна заборона).

Чого закривати не можна

CSS і JavaScript. Пошукова система рендерить сторінку так само, як браузер. Якщо стилі й скрипти заблоковані, вона бачить зламану сторінку без верстки — і оцінює відповідно. Це стосується й папок на кшталт /wp-content/, які колись закривали цілком: разом із ними блокуються теми й потрібні скрипти.

Зображення, якщо вам потрібен трафік із пошуку картинок.

Сторінки, на яких стоїть canonical або noindex. Заборона сканування перекриває ці теги — робот не зможе їх прочитати. Для боротьби з дублями robots.txt не інструмент, правильні рішення розібрані в статті про дублі сторінок (/blog/dubli-storinok-na-saiti).

Весь сайт. Здається очевидним, але саме це найчастіша катастрофа: файл з часів розробки переїжджає на бойовий сайт разом зі всім іншим.

User-agent: *
Disallow: /

Два рядки, які прибирають сайт із пошуку. Якщо позиції зникли різко й без причини — перевіряйте robots.txt першим.

Типові помилки

• Забутий Disallow: / після запуску. Перше, що варто перевірити наступного дня після релізу.
• Блокування папок з ресурсами цілком, замість точкових заборон.
• Пропущений слеш. Disallow: /admin закриє й /administration/, і /admin-panel/.
• Спроба закрити файлом уже проіндексовані сторінки. Ефект зворотний: вони залишаться в індексі, але робот більше не зможе побачити ваш noindex і прибрати їх.
• Посилання на неіснуючий sitemap — або на адресу, яка віддає 404 після переїзду.
• Різні файли на http і https або на домені з www і без.
• Правила для окремих ботів, які суперечать загальним. Робот виконує лише той блок, який стосується саме його. Якщо ви прописали окремий блок User-agent: Googlebot, правила з блоку * для нього більше не діють — їх треба продублювати.

Приклади робочих файлів

Сайт послуг:

User-agent: *
Disallow: /admin/
Disallow: /search
Disallow: /thank-you/
Disallow: /*?utm_

Sitemap: https://site.com/sitemap.xml

Інтернет-магазин:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search
Disallow: /*?sort=
Disallow: /*?utm_

Sitemap: https://site.com/sitemap.xml

Фільтри в каталозі свідомо не закриті повністю: частина комбінацій має попит і має працювати як окрема посадкова сторінка. Це вирішується на рівні структури й canonical, а не тотальною забороною.

Як перевірити після змін

1. Відкрийте site.com/robots.txt у браузері — переконайтесь, що файл віддається і містить те, що ви очікуєте.
2. У Google Search Console є звіт по robots.txt: він показує, коли файл зчитано востаннє, чи немає помилок синтаксису.
3. Через інструмент перевірки URL перевірте кілька конкретних адрес — і тих, що мають бути доступні, і тих, що закриті.
4. Через тиждень подивіться звіт «Індексування сторінок»: чи не з’явилися нові сторінки зі статусом про блокування.

Зміни зчитуються не миттєво — файл кешується на боці пошукової системи, тож на реакцію закладайте добу-дві.

Якщо не впевнені, що у вашому файлі закрито саме те, що треба, — це стандартна частина SEO-аудиту : перевіряється разом із рештою налаштувань індексації.

Катерина Тучинська

Власниця SEO-агенції Altior з понад 10 роками досвіду у SEO. Працює зі стратегією просування, аудитами, структурою та розвитком сайтів. У матеріалах Altior пояснює SEO через практичну логіку: що саме заважає сайту рости, що варто змінювати і в якій послідовності