• Контакты
  • +7 (937) 486-30-30
  • mail@allbx.ru

Создаем Robots.txt




Первое, создайте файл с именем "robots.txt". Правил может быть несколько или одно для всех. С помощью User-agent: укажем для кого данное правило. А при помощи Disallow: к чему запрещаем доступ. User-agent:* Disallow: /forum/ Disallow: /links/ Disallow: /uploads/ Disallow: /user/ Disallow: /wp-includes/ Disallow: /js/ Disallow: /files/ Disallow: /trackback/ Disallow: /PHP_errors.log Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-login.php Disallow: /wp-register.php В данном случае запретили доступ к указанным каталогам всем роботам. Еще примеры User-agent:* Disallow: /forum/ #заблокировали доступ к папке forum и все что в ней User-agent:* Disallow: / #заблокировали доступ ко всему сайту Робот яндекса позволяет создовать таймаут между индексированием следующей страницы. Если у вас появляется нагрузка на сервер и тд. можно попробовать увеличить время. Crawl-delay: 2 Если вы используете РСЯ от Яндекса то добавьте следующие строчки, они позволяют роботу РСЯ просматривать все страницы. К поисковому роботу это не относится. Таким образом вы можете размещать рекламу на закрытом сайте, с посещаемостью более 300ч. User-agent: YandexDirect Disallow: Host: manual1c.ru Sitemap: http://manual1c.ru/sitemap.xml
Алексей Бульчук
Специалист-консультант
Хотите получить консультацию?
Оставьте заявку и мы свяжемся с Вами в ближайшее время.

Похожые статьи

Разработчикам

Создаем Robots.txt

Разработчикам

Плагин Like Dislike Counter для указания Лайков в Wordpress.

В данной статье я расскажу про плагин "Like Dislike Counter", который позволяет создавать ...

Разработчикам

Редирект с index.php на главную "/"

Разработчикам

Как писать заголовки

Заголовки определяют успех любого текста и являются ключевым фактором, от которого зависит...

Разработчикам

Написание статей

Написание текста для продвигаемой страницы очень важно. При этом во главу угла ставится ун...

Разработчикам

Меняем часовой пояс в Linux на примере виртуальной машины Bitrix

Разработчикам

Авторизация под чужим логином, а также восстановление пароля администратора в 1С-Битрикс

Разработчикам

Монтирование ntfs или fat раздела в linux при загрузки.

Если у вас есть ntfs раздел которым вы постоянно пользуетесь под linux, то проще будет есл...

Разработчикам

Установка и настройка ftp сервера ProFTPd

Разработчикам

Не запускаются собрания/планерки в корпоративном портале.

Разработчикам

Загрузка файлов на ftp сервер из cmd

Поставим небольшую задачу. Необходимо загружать через скрипт файлы на ftp сервер.

Разработчикам

Restore.php: Ошибка! IP адрес клиента изменился, продолжение невозможно.

02.10.2019