заявка на обратный звонок
Повысим продажи, приведем клиентов из Интернет!
Узнать стоимость продвижения Бесплатный анализ сайта
ГлавнаяНовости SEO → Новые правила обработки директивы Allow файла robots.txt

Новые правила обработки директивы Allow файла robots.txt

27 Сентября 2011

Одним из методов управления поведения поисковым роботом на вашем сайте является текстовый файл robots.txt. В нем можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.


Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow'.

Пример:
 

 

    User-agent: Yandex
    Allow: /catalog
    Disallow: /
    # запрещает скачивать все, кроме страниц
    # находящихся в '/catalog'


Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

    User-agent: Yandex
    Allow: /catalog
    Disallow: /
    # запрещает скачивать все, кроме страниц
    # находящихся в '/catalog'

   

    User-agent: Yandex
    Disallow: /
    Allow: /catalog
    # запрещает скачивать весь сайт

Через несколько недель мы планируем внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит нам соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.

Свежие новости SEO:
02 Октября 2015
Опасные сайты могут ранжироваться ниже в результатах поиска Яндекса
В сентябре компания Яндекс регулярно сообщает о различных нововведениях. Сегодня речь пойдет о новом подходе к определению релевантности документов.
14 Сентября 2015
Тестирование нового подхода к определению релевантности документов
В сентябре компания Яндекс регулярно сообщает о различных нововведениях. Сегодня речь пойдет о новом подходе к определению релевантности документов. 
08 Сентября 2015
Сайты, продающие ссылки, будут понижены в результатах поиска (АГС--)
Одним из основных принципов системы поиска компании Яндекс есть выдача пользователю списка качественных и интересных страниц. Сайт должен быть наполнен уникальной информацией и быть полезным.
07 Августа 2015
В Вебмастере появился новый информер Яндекс.Метрики
Владельцы сайтов, которые тщательно следят за изменениями на страницах, могут ликовать. Компания Яндекс заявляет о появлении нового информера для Яндекс.Вебастера.
28 Июля 2015
Особенности подтверждения прав на сайт в Яндекс.Вебмастере
Как известно разработчикам, и не только им, существует несколько способов подтверждения прав на сайт. Яндекс.Вебмастер работает и использует на практике разные способы подтверждения. 
Нам доверяют
Мы работаем с клиентами по всей России

Офис компании ООО «Сириус-ИТ» находится в Казани, работаем с клиентами по всей России. У нас более чем интересные предложения для центральных регионов России.

Будем рады видеть Вас среди наших клиентов! Звоните: (843) 249-44-54