Leila

robots.txt для всех поисковиков

4 posts in this topic

Как сделать универсальный robots.txt для всех поисковиков? Можно так сделать или нужно на сайте каждого поисковика вычитывать какие у него особенности и под каждого писать отдельный robots.txt?

0

Share this post


Link to post
Share on other sites

Нет не нужно. Для каждого поисковика можно прописать отдельные директивы в одном файле robots.txt. Кроме того должен быть один такой файл. Просто нужно указывать для какого именно робота инструкции. Например:

User-agent: Yandex

Disallow: /service
Disallow: /orfograf
Disallow: /uvedomlenie

....

 

User-agent: Googlebot

Disallow: /service
Disallow: /orfograf
Disallow: /uvedomlenie
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php

...

0

Share this post


Link to post
Share on other sites

Этот файл и является единым и универсальным для всех поисковых систем. Чтобы назначить всем поисковым роботам одинаковые правило, просто пропишите звездочку в "User-agent:". Укажите, что можно просматривать, а к чему доступ должен быть только для вас. Небольшая рекомендация не делать слишком длинный список правил в этом файле.

0

Share this post


Link to post
Share on other sites
А я все таки сторонник прописывать правила для разных поисковых систем - у каждого есть свои заморочки. И структура у меня такая:

 - универсальные правила,

- правила для поисковика 1,

- правила для поисковика 2,

...

0

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now