В функционал проверки уникальности сайта при поиске страниц добавлена возможность поиска ссылок в файле sitemap.xml
Подробнее про данный файл можно прочитать на странице http://www.sitemaps.org/ru/protocol.html

Для тех пользователей, которые используют на своих сайтах данный файл, поиск страниц будет происходить быстрее, и можно быть уверенным, что паук найдет все необходимые страницы.



Также исправлено множество мелких ошибок, благодаря чему поиск текстов при проверке сайта будет проводиться быстрее.