robots.txt в SEO-продвижении: краткое руководство для начинающих
Рассказываем о назначении файла robots.txt и его отличии от мета-тега robots. Рассматриваем основные директивы (User-agent, Disallow, Allow, Sitemap, Clean-param и др.), их применение и технические требования к файлу. В статье приведены советы по проверке и ситуации, в которых использование robots.txt наиболее оправдано