Ребята из Merj обнаружили ошибку в платформе Google AdSense, которая влияет на то, как AdSense понимает и таргетирует рекламу на веб-страницах.
Когда бот AdSense краулит веб-страницу, чтобы проанализировать ее содержимое, он использует юзер-агент “Mediapartners-Google” для получения исходного HTML.
Однако при запросе дополнительных ресурсов (например, скриптов, CSS, изображений) для рендеринга страницы он переключается на юзер-агент “Googlebot“.
Если файл robots.txt сайта блокирует доступ “Googlebot” к определенным ресурсам, которые разрешены для “Mediapartners-Google“, это может привести к неполному или пустому отображению страницы для AdSense.
Хотя эта ошибка относится именно к AdSense, она может косвенно повлиять на SEO, искажая данные в логах доступа к сайтам.
Когда “Googlebot” запрашивает ресурсы для рендеринга AdSense, это может отображаться в журналах как органическая активность краулинга, даже для страниц, заблокированных в robots.txt.
Это может внести путаницу в анализ логов и привести к неверным выводам о поведении Googlebot при краулинге и рендеринге.
Однако эта ошибка не оказывает прямого влияния на то, как Googlebot краулит, индексирует или ранжирует веб-страницы.
https://merj.com/blog/discovering-and-diagnosing-a-google-adsense-rendering-bug