Leila

robots.txt для всех поисковиков

В этой теме 4 сообщения

Как сделать универсальный robots.txt для всех поисковиков? Можно так сделать или нужно на сайте каждого поисковика вычитывать какие у него особенности и под каждого писать отдельный robots.txt?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет не нужно. Для каждого поисковика можно прописать отдельные директивы в одном файле robots.txt. Кроме того должен быть один такой файл. Просто нужно указывать для какого именно робота инструкции. Например:

User-agent: Yandex

Disallow: /service
Disallow: /orfograf
Disallow: /uvedomlenie

....

 

User-agent: Googlebot

Disallow: /service
Disallow: /orfograf
Disallow: /uvedomlenie
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php

...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Этот файл и является единым и универсальным для всех поисковых систем. Чтобы назначить всем поисковым роботам одинаковые правило, просто пропишите звездочку в "User-agent:". Укажите, что можно просматривать, а к чему доступ должен быть только для вас. Небольшая рекомендация не делать слишком длинный список правил в этом файле.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А я все таки сторонник прописывать правила для разных поисковых систем - у каждого есть свои заморочки. И структура у меня такая:

 - универсальные правила,

- правила для поисковика 1,

- правила для поисковика 2,

...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти