SEO-копирайтинг от лучших авторов, работа копирайтером на дому
Новости проектаПросмотр новости
Усовершенствован анализ robots.txt 05.06.2014
Уважаемые пользователи, в проверке сайтов мы усовершенствовали анализ robots.txt. При выборе опции «учитывать robots.txt»



вы можете автоматически исключить разделы своего сайта из поиска:
  • можно создать отдельный блок для нашего робота, указав «textru» (регистр символов не имеет значения) в «User-agent»;
  • если нет блока, описанного в предыдущем пункте, ограничения поиска будут выбираться из блока «*» («любой робот»);
  • будут учтены только те инструкции «Disallow».

    Пример файла robots.txt:



    С данной опцией проверить сайт на уникальность станет намного удобнее.