Тег

#robots.txt

robots.txt помогает управлять краулерами, но не является магическим замком. Для AI-ботов важны также canonical, noindex и редиректы.

В robots.txt теперь часто смешиваются поисковые боты, AI-краулеры и content signals. Важно понимать, что именно запрещается.