Отчет “Near Duplicates” в Screaming Frog позволяет увидеть, какой % контента является дублированным.
Это помогает найти дублированные страницы в большом объеме:
При анализе сайта проверка на дублированный контент может быть сложной и трудоемкой.
Часто, если у страницы есть конкурирующий дубль, это может быть не сразу очевидно при визуальной проверке.
Такие вещи, как `PDF`-файлы, вариации `URL` и другие типы дублированного контента, зачастую скрыты глубоко внутри сайта.
К счастью, вы можете проверить это в большом объеме, используя следующий процесс:
1. Откройте `Screaming Frog`.
2. Перейдите в Configuration > Content > Duplicates.
3. Отметьте “Enable Near Duplicates” и выберите Similarity Threshold.
4. Запустите краулинг и дождитесь его завершения.
5. Когда краулинг завершится, перейдите в Crawl Analysis > Configure. Убедитесь, что “Content” отмечен.
6. Перейдите в Crawl Analysis > Start.
7. Когда анализ будет завершен, перейдите в Content > Near Duplicates. “Closest Similarity Match” покажет вам % совпадения.
8. Вы можете использовать вкладку “Duplicate Details”, чтобы увидеть другие страницы, которые имеют высокий % совпадения.
Этот процесс значительно ускоряет идентификацию дублированного контента на вашем сайте и группировку URL, которые поисковые системы будут считать похожими.