Robots.txt необходим для вашего сайта для того, чтобы указать поисковой сиситеме какие страницы вашего сайта не следует индексировать, например, если эти страницы не содержат информации, а только рисунки, фото.
Kadr
Добавлено: 09 май 2013, 20:52
Зарегистрирован: 08 май 2013, 22:53 Сообщений: 33
Очень нужная программка, если можно так назваться данный текстовый файл. Он не только не индексирует нужные для вас страницы, но и дает больше возможности самому админу сайта и его создателю.
Seoboom
Добавлено: 29 май 2013, 03:39
Зарегистрирован: 29 май 2013, 01:39 Сообщений: 68
Так же не подлежит индексации и не оригинальный, ворованный контент. Именно в связи с этим стал так популярен процесс SMO, именно специалисты по оптимизации выберут оригинальное наполнение сайта, благодаря которому индексация вам обеспечена.
Torvin
Добавлено: 10 июн 2013, 13:04
Зарегистрирован: 29 май 2013, 01:40 Сообщений: 25
Роботс основной инструмент многих поисковиков, поэтому если ваши страницы не индексируются, вполне возможно что всему виной именно эта программа.
Страница 1 из 1
[ Сообщений: 4 ]
Вернутся
Кто сейчас на форуме вебмастеров и оптимизаторов
Сейчас просматривают тему "Robots.txt": нет зарегистрированных пользователей и гости: 1
Вы не можете начинать темы Вы можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения
Меню
Новости
Часы
Поиск
Инструменты