Создаем Robots.txt

Первое, создайте файл с именем "robots.txt". Правил может быть несколько или одно для всех. С помощью User-agent: укажем для кого данное правило. А при помощи Disallow: к чему запрещаем доступ. User-agent:* Disallow: /forum/ Disallow: /links/ Disallow: /uploads/ Disallow: /user/ Disallow: /wp-includes/ Disallow: /js/ Disallow: /files/ Disallow: /trackback/ Disallow: /PHP_errors.log Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-login.php Disallow: /wp-register.php В данном случае запретили доступ к указанным каталогам всем роботам. Еще примеры User-agent:* Disallow: /forum/ #заблокировали доступ к папке forum и все что в ней User-agent:* Disallow: / #заблокировали доступ ко всему сайту Робот яндекса позволяет создовать таймаут между индексированием следующей страницы. Если у вас появляется нагрузка на сервер и тд. можно попробовать увеличить время. Crawl-delay: 2 Если вы используете РСЯ от Яндекса то добавьте следующие строчки, они позволяют роботу РСЯ просматривать все страницы. К поисковому роботу это не относится. Таким образом вы можете размещать рекламу на закрытом сайте, с посещаемостью более 300ч. User-agent: YandexDirect Disallow: Host: manual1c.ru Sitemap: http://manual1c.ru/sitemap.xml

Возврат к списку

×
Ваш запрос отправлен
Наш менеджер свяжется с вами в ближайшее время!