«Юрий»

Как известно вебмастерам, файл robots.txt рассказывает и показывает как себя вести, что кушать, куда ходить, а куда не ходить поисковым роботам (ботам) индексаторам.

Как-то тут мониторя и анализируя сайт irk.ru (иркутский портал) нашёл забавную вещь в виде закрытой от индексации новости Disallow: /news/2004/07/08, идём смотрим саму новость irk.ru/news/20040708/ и на выбор нам попадает целых 5 новостей, из которых 4 вполне нормальные себе новости об бытие и житие Иркутска, жителей и т.п, а вот одна из новостей явно рекламного характера ( irk.ru/news/20040708/saitodrom.html "Сайтодром — экономный вариант создания и поддержки сайта" ) и именно из-за этого этот день ирк.ру вычеркнул из новостной ленты для индексации ботами.

Я к чему это пишу, когда вы покупаете или просто размещаете ссылки следите внимательно за такими казалось бы мелочами как вышеописанная.