05.06.2014, 00:00
Усовершенствован анализ robots.txt
Уважаемые пользователи, в проверке сайтов мы усовершенствовали анализ robots.txt. При выборе опции «учитывать robots.txt»
вы можете автоматически исключить разделы своего сайта из поиска:
вы можете автоматически исключить разделы своего сайта из поиска:
- можно создать отдельный блок для нашего робота, указав «text» (регистр символов не имеет значения) в «User-agent»;
- если нет блока, описанного в предыдущем пункте, ограничения поиска будут выбираться из блока «*» («любой робот»);
- будут учтены только те инструкции «Disallow».
Пример файла robots.txt:
С данной опцией проверить сайт на уникальность станет намного удобнее.