Robots.txt через админку OctoberCMS

Удобно иметь редактируемый файл robots.txt через backend OctoberCMS. Покажу как это сделать.

• Создаем страницу, название неважно. Адрес URL делаем /robots.txt
• В разметке помещаем сам текст файла robots
• В коде пишем

function onStart() {
  $content = $this->page->markup;
  return Response::make($content)->header('Content-Type', 'text/plain');
}

Что размещать в robots.txt?

• Директива Host, например Host: tyapk.ru
• Если есть Sitemap, например Sitemap: http://tyapk.ru/sitemap.xml
• Несколько Disallow. Закрыть поисковым роботом индексацию определенных разделов.
  Что конкретно закрывать? На ваше усмотрение. Общие рекомендации: поиск, статистики и всё, что доступно после авторизации.

Всё что необходимо закрыть по-умолчанию, October уже закрыл на уровен прав доступа и роботы не получат ничего лишнего.

Можно посмотреть как сделали другие. У меня есть страничка с примерами сайтов на OctoberCMS. Достаточно дописать к названию из списка /robots.txt например http://tyapk.ru/robots.txt и посмотреть.