• Контакты
  • +7 (937) 486-30-30
  • mail@allbx.ru

Создаем Robots.txt




Первое, создайте файл с именем "robots.txt". Правил может быть несколько или одно для всех. С помощью User-agent: укажем для кого данное правило. А при помощи Disallow: к чему запрещаем доступ. User-agent:* Disallow: /forum/ Disallow: /links/ Disallow: /uploads/ Disallow: /user/ Disallow: /wp-includes/ Disallow: /js/ Disallow: /files/ Disallow: /trackback/ Disallow: /PHP_errors.log Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-login.php Disallow: /wp-register.php В данном случае запретили доступ к указанным каталогам всем роботам. Еще примеры User-agent:* Disallow: /forum/ #заблокировали доступ к папке forum и все что в ней User-agent:* Disallow: / #заблокировали доступ ко всему сайту Робот яндекса позволяет создовать таймаут между индексированием следующей страницы. Если у вас появляется нагрузка на сервер и тд. можно попробовать увеличить время. Crawl-delay: 2 Если вы используете РСЯ от Яндекса то добавьте следующие строчки, они позволяют роботу РСЯ просматривать все страницы. К поисковому роботу это не относится. Таким образом вы можете размещать рекламу на закрытом сайте, с посещаемостью более 300ч. User-agent: YandexDirect Disallow: Host: manual1c.ru Sitemap: http://manual1c.ru/sitemap.xml
Алексей Бульчук
Специалист-консультант
Хотите получить консультацию?
Оставьте заявку и мы свяжемся с Вами в ближайшее время.

Похожые статьи

Разработчикам

Сортировка элементов информационного поля по дополнительным свойствам

GetIBlockElementList(29, false, Array("notice_date"=>"DESC"), 8);

Разработчикам

Программный пересчет заказа в 1С-Битрикс

16.10.2019
Разработчикам

Получить данные о файле с помощью pathinfo().

Разработчикам

Функция транслита слов на PHP и JavaScript

пример функций транслита для PHP и JavaScript

Разработчикам

Функция PHP для получения курса доллара с ЦБ РФ

Разработчикам

Смена ROOT пароля к MySQL в Linux [CentOS] [BitrixVm]

Разработчикам

Закрепить блок при прокрутке за приделы ее видимости

11.03.2019
Разработчикам

Создаем Robots.txt

Разработчикам

Редирект с index.php на главную "/"

Разработчикам

Конвертируем все имена файлов из одной кодировки в другую. LINUX

Разработчикам

Условные комментарии в HTML для работы с IE

Условные комментарии в IE появились c версии 5. Данные комментарии позволяют использовать ...

Разработчикам

Создание второго сайта на одной лицензии 1С-Битрикс

symlink('/home/c/cu423/site1/public_html/bitrix/','bitrix'); symlink('/home/c/cu423/site1...

03.08.2018