Инструменты пользователя

Инструменты сайта


robots

Различия

Здесь показаны различия между двумя версиями данной страницы.

Ссылка на это сравнение

robots [2017/08/29 13:07]
127.0.0.1 внешнее изменение
robots [2019/02/11 20:12] (текущий)
darkfire
Строка 1: Строка 1:
-====== robots.txt ====== +====== ​Настройка ​robots.txt ​для SEO  ​====== 
-**robots.txt** — файл ​ограничения доступа к содержимому роботам ​на [[HTTP]]- сервере. Файл ​должен находиться в корне ​сайта (т.е. иметь путь ​относительно имени сайта /​robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет ​стандарт [[Sitemaps]],​ который служит прямо противоположной цели: облегчать роботам доступ к содержимому.+{{htmlmetatags>​ 
 +metatag-description=(Файл ​robots.txtограничения доступа к содержимому роботамдолжен находится в корневом каталоге вашего сайта.
 +}}
  
 +Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP.
 +
 +**robots.txt** — файл ограничения доступа к содержимому роботам на [[HTTP]]- сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /​robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт [[Sitemaps]],​ который служит прямо противоположной цели: облегчать роботам доступ к содержимому.
 +{{ ::​robots.txt.jpg?​nolink |}}
 Использование файла добровольно. Стандарт был принят консорциумом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин. Использование файла добровольно. Стандарт был принят консорциумом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.
  
загрузка...
robots.txt · Последние изменения: 2019/02/11 20:12 — darkfire