Забавное или что скрывает robots.txt
 

Как известно вебмастерам, файл robots.txt рассказывает и показывает как себя вести, что кушать, куда ходить, а куда не ходить поисковым роботам (ботам) индексаторам.

Как-то тут мониторя и анализируя сайт irk.ru (иркутский портал) нашёл забавную вещь в виде закрытой от индексации новости Disallow: /news/2004/07/08, идём смотрим саму новость irk.ru/news/20040708/ и на выбор нам попадает целых 5 новостей, из которых 4 вполне нормальные себе новости об бытие и житие Иркутска, жителей и т.п, а вот одна из новостей явно рекламного характера ( irk.ru/news/20040708/saitodrom.html "Сайтодром — экономный вариант создания и поддержки сайта" ) и именно из-за этого этот день ирк.ру вычеркнул из новостной ленты для индексации ботами.

Я к чему это пишу, когда вы покупаете или просто размещаете ссылки следите внимательно за такими казалось бы мелочами как вышеописанная.

За такое можно и морду набить, если с этой запрещённой к индексации странице и правда продают ссылки :)

Они там с морды продают ссылки и со вторых страниц, имхо самый доходный сайт как-то связанный с Иркутском, у них офис на Жуковского, сейчас кстати набирают работников по поиску клиентов (продажа рекламы с сайта).