- SEO советы по файлу robots.txt
- Robots.txt FAQ
- Это серьезно, чтобы не иметь файл robots.txt?
- Можем ли мы иметь пустой файл robots.txt?
- Как настроить задержку сканирования в файле robots.txt для Google?
- Как прочитать файл robots.txt?
- Как создать файл robots.txt?
- Как изменить файл robots.txt?
- Как долго Google учитывает файл robots.txt?
- Можем ли мы заблокировать CSS и JS в файле robots.txt?
- Инструменты для файла robots.txt
Статья обновлена 25/11/2017 (FAQ), первоначально опубликована 01.07.2014 
Советы по файлу robots.txt для SEO
SEO советы по файлу robots.txt
Стандарт исключения роботов был создан для того, чтобы сканеры не потребляли слишком много ресурсов сервера и «отбрасывали» веб-сайт. Надо сказать, что в 1994 году пропускная способность была действительно ограничена.
Сайт Searchengineland.com найдено эта статья Брайана Уссери который перечисляет информацию и советы, а также наиболее распространенные ошибки:
- Google скачивал файл robots.txt в среднем один раз в день, начиная с 2000 года (раньше это было раз в неделю). Иногда эта частота меняется (см. Подробности здесь ). Это означает, что если вы хотите заблокировать URL-адрес, то безопаснее добавить его в блокировки в файле robots.txt по крайней мере за 24 часа до размещения URL-адреса в Интернете.
- Если URL уже проиндексирован Google, то его блокировка в файле robots.txt ничего не изменит: в любом случае URL останется проиндексированным. Действительно, у Google больше нет разрешения сканировать страницу, она больше не сканирует и не остается в индексе как есть. Чтобы удалить URL-адрес , необходимо разрешить его сканирование и использование метатег роботы noindex или заголовок X-Robots-Tag HTTP (или, исключение, перейдите к запросу на удаление URL-адреса в Инструментах Google для веб-мастеров).
- В 2008 году Google указанный что его робот Googlebot учитывает дополнительные директивы, не определенные в стандарте. Это подстановочные знаки $ и * , команда Разрешить и объявление файла карты сайта (читайте мой учебник по Sitemaps для деталей).
- Не блокируйте сканирование URL-адресов, которые перенаправлены , иначе движки не смогут увидеть это перенаправление
- Комментарии разрешены (строка должна начинаться с #), но они полностью игнорируются
- Файл robots.txt не используется для защиты доступа к URL-адресу или разделу (вместо этого необходимо ввести логин): не указывайте «конфиденциальные» URL-адреса ...
- Максимальный размер файла robots.txt составляет 500 КБ (будьте осторожны, это будет игнорироваться Google)
- В некоторых случаях Google указывает в консоли поиска Google, что он сталкивается с проблемами при сканировании файла robots.txt. Google должен получить либо код 200 (файл существует, и он доступен), либо код 403 или 404 (файл недоступен, но возвращенный код HTTP непротиворечив).
- файл robots.txt может быть проиндексирован в Google. Для деиндексации необходимо либо использовать X-Robots-Tag, либо запретить сканирование файла, а затем удалить его из индекса в Google Search Console.
- Директива Crawl-Delay управляется Bing, но игнорируется Google (для последнего необходимо настроить этот параметр в GSC).
Я дополняю мои другие советы на robots.txt:
- если в preprod вы заблокировали сканирование всего сайта (Disallow: /), не забудьте отменить эту директиву, прежде чем помещать сайт в prod ...
- URI всегда должен начинаться с косой черты
- обратите внимание на порядок директив Allow: и Disallow: (предупреждение, Allow не является стандартным, но Google обрабатывает его)
- имя файла должно называться robots.txt, с символом S для роботов, исключительно маленькими буквами
- для каждого субдомена должен быть файл robots.txt
- для каждого протокола должен быть файл robots.txt (HTTP и HTTPS)
- в отличие от других, Google принимает файл robots.txt по протоколу FTP
- этот текстовый файл предпочтительно должен быть закодирован в UTF-8 . Если вы включите спецификацию в начале, она будет проигнорирована.
- Пробелы необязательны (но рекомендуется для улучшения читабельности файла)
- Google учитывает только 4 директивы (регистр игнорируется): user-agent , disallow , allow , sitemap
Robots.txt FAQ
Для чего нужен файл robots.txt?
- По умолчанию Google (и другим роботам) разрешено сканировать все URL вашего сайта.
- За исключением тех, которые вы явно запрещаете в файле robots.txt
- Это полезно для сохранить от "бюджета обхода"
- Если он заблокирован, как только он подключен к сети, он также предотвращает индексацию страниц
Что положить в его файл robots.txt?
Укажите, что не нужно сканировать (и, следовательно, индексировать), например:
- Типы URL, которые не интересуют SEO (сортировка, режимы отображения и т. Д.)
- разделы сайта (каталоги), которые никогда не должны быть проиндексированы, если случай представляет для вас
- типы файлов, которые не следует индексировать (например, PDF-файлы, если это так)
Это серьезно, чтобы не иметь файл robots.txt?
Нет! Имейте в виду, однако, что в этом случае это означает, что вы разрешаете всем сканерам перемещаться в любое место на вашем сайте.
Небольшой недостаток заключается в том, что каждый раз, когда поисковая система пытается получить доступ к вашему файлу robots.txt (Google делает это несколько раз в неделю), она выдает ошибку 404.
Можем ли мы иметь пустой файл robots.txt?
Да, это не проблема.
Как настроить задержку сканирования в файле robots.txt для Google?
Это невозможно! Google не учитывает директиву о задержке сканирования (но Bing это учитывает).
Если вы хотите замедлить Googlebot, сделайте запрос в вашей учетной записи Консоли поиска. Однако, это не должно происходить часто, или вам нужно улучшить производительность вашего сервера.
Как прочитать файл robots.txt?
Этот файл является общедоступным, любой может его просмотреть. Просто перейдите по URL-адресу файла, который всегда один и тот же: /robots.txt в интересующем вас поддомене.
Как создать файл robots.txt?
Возьмите текстовый редактор (как можно проще, а не Word) и введите желаемый контент. При необходимости используйте генератор файлов robots.txt (см. Инструменты ниже).
Затем загрузите его по системе, представленной на вашем сайте. Часто вам нужно пройти через FTP.
Некоторые CMS предлагают создать или изменить файл прямо из вашего бэк-офиса.
Как изменить файл robots.txt?
Получите последнюю версию (априори ту, которая онлайн на вашем сайте) и загрузите файл. Просто перейдите по URL-адресу файла и сохраните его (Файл> Сохранить как ...) как текст.
Затем вы можете изменить его, а затем перенести на свой сайт (как правило, по FTP).
Некоторые CMS предлагают редактировать ваш файл прямо из вашего бэк-офиса.
Как долго Google учитывает файл robots.txt?
После того, как вы изменили его, вы должны подождать, пока ваш робот его восстановит, что в целом занимает несколько часов или несколько дней. Но если вы спешите, просто используйте консоль поиска, чтобы сообщить Google, что ваш файл robots.txt изменился. Для этого проконсультируйтесь мой видеоурок , В основном:
- Перейти в раздел Разведка
- Нажмите Robots.txt Тестовый инструмент
- Нажмите «Отправить»
- Во всплывающем окне найдите «Запросить обновление в Google» и нажмите «Отправить»
Можем ли мы заблокировать CSS и JS в файле robots.txt?
В теории да, вы можете, но это не рекомендуется. Действительно, за исключением особых случаев, эти файлы могут быть необходимы для отображения страниц вашего сайта. Если вы запретите поисковым системам доступ к ним, они не смогут увидеть, как выглядят ваши страницы. В некоторых случаях они могут даже не иметь доступа ко всему вашему контенту (если для этого требуется код Javascript, который вы блокируете).
Поэтому на практике не блокируйте файлы CSS и Javascript в файле robots.txt. Кстати, если вы это сделаете, вполне вероятно, что Google предупредит вас, что вы блокировать ресурсы ».
Если у вас есть дополнительные вопросы об этом файле, разместите их здесь в качестве комментариев.
Инструменты для файла robots.txt
Инструменты, которые могут служить вам:
Не пропустите: также используйте мой инструмент My Ranking Metrics для проанализировать ваше SEO на техническом уровне , Он следует указаниям ваших файлов robots.txt, как и Google; это поможет вам обнаружить все технические моменты, которые блокируют или наказывают ваш SEO. Этот платный инструмент имеет бесплатную версию.
Вам понравилась эта статья?
Похожие
SEO ФилиппиныSEO на Филиппинах В настоящее время ДЕЙСТВИТЕЛЬНО РАЗВИВАЕТСЯ индустрия. Чуть более восьми лет назад я понятия не имел о SEO или о чем он. SEO здесь, на Филиппинах, не было тогда популярным. Я не знаю, больше ли я вовлечен в SEO-индустрию, когда нахожу и встречаю множество других филиппинцев, которые практикуют SEO и обслуживают клиентов по всему миру. Примечание для веб-мастера: 5 инструментов SEO (расширения Google) для SEO
Статья обновлена до июля 2015 инструменты , инструменты и другие инструменты SEO. Много раз мы стремимся быть в курсе лучших инструментов SEO , с лучшими подписками и самыми инновационными функциями. Это хорошо (всегда полезно знать о Аутсорсинг SEO
... как Google, Yahoo, Bing. Мы поможем вам сделать ваш сайт живым и прибыльным с помощью гарантированных услуг SEO сайта. Наш гарантированный SEO-сервис - это олицетворение нашего опыта и уверенности в нашей способности высоко оценивать сайты в различных основных поисковых системах. Наш профессиональный эксперт по SEO предоставляет лучшие и доступные профессиональные услуги по поисковой оптимизации для вашего сайта. Google Zoo
Я уверен, что многие из вас знают поисковая оптимизация и как сделать так, чтобы ваш сайт показывался на вершине их результатов, является отличным способом привлечения трафика на ваш сайт. Многие из моих клиентов, которые занимались SEO в прошлом, испытывают большую озабоченность по поводу стаи животных, которых Google выпустил в мир, нанося ущерб ранжированию результатов поиска людей. Что это за животные и как вы убедитесь, Тампа SEO
Мы ежедневно получаем звонки от компаний, которые ищут услуги Tampa SEO. Похоже, что все слышали термин SEO или поисковая оптимизация, и они хотят! Интересная вещь, которую мы обнаруживаем во время нашей бесплатной консультации для обсуждения Тампа SEO с этими людьми или предприятиями Google изменил способ чтения файлов robots.txt
... txt-1.jpg" alt="это Поиск Форсайт кто говорит нам: Google недавно запустил предупреждающие сообщения на своей консоли поиска для некоторых сайтов, которые могут видеть, как их страницы блокируются и сканируются после новой интерпретации файла robots"> это Поиск Форсайт кто говорит нам: Google недавно запустил предупреждающие сообщения на своей консоли поиска для Как работает SEO (простая английская версия)
Существует много путаницы в том, что такое SEO и как работает SEO. Если вы не слишком техничны, это только ухудшает ситуацию в миллион раз. Хорошая новость заключается в том, что по своей сути SEO не так волосат, как вы думаете. Сегодня я просто хотел потратить минуту, чтобы помочь вам понять, что происходит под капотом. Что такое SEO? Лучшее определение SEO, безусловно, исходит от Moz.com : SEO Советы: Google AdWords для Фокус Ключевое слово
... как передача ключа от вашего шкафчика постороннему. Аутсорсинг SEO самоубийственен, поскольку он может сделать или сломать судьбу вашего веб-путешествия. Я получаю много запросов о том, как мои сообщения блога появляются на 1-й странице результатов поиска. Позвольте мне уточнить, что нет пути к успеху. SEO - самая сложная и в то же время самая простая задача. Сложно, потому что это требует годы напряженной работы без каких-либо немедленных результатов. Проще всего, 5 бесплатных инструментов SEO
... файла на ваш сервер. После того как вы подтвердите свое право собственности на сайт, вы сможете получать диагностические данные, которые точно показывают, как Google видит ваш сайт в Интернете, анализировать поисковые запросы по ключевым словам, просматривать входящие и внутренние ссылки на ваш сайт и проверять карту своего сайта, чтобы увидеть сколько страниц вашего сайта проиндексировано Google. Атланта SEO Компания
Майк Л. Сильверман Атланта SEO менеджер Решения Silver Web 678-714-0034 Silver Web Solutions - это SEO- компания в Атланте, которая может помочь вам повысить осведомленность о продукте или услуге, привлечь трафик на ваш сайт, связаться с вашими клиентами и увеличить продажи. Мы использовали наш опыт и проверенные методы, чтобы помочь известным предприятиям. Местные SEO услуги
Для некоторых предприятий, вкладывающих много денег в SEO для общих ключевых слов может быть не лучшим решением, если вы предлагаете местную услугу
Комментарии
Иногда это потому, что люди думают, что это не имеет значения, а иногда это потому, что они просто не понимают этого - но заслуживает ли это вашего внимания?Иногда это потому, что люди думают, что это не имеет значения, а иногда это потому, что они просто не понимают этого - но заслуживает ли это вашего внимания? Что это включает, и имеет ли это отношение к вашему онлайн-бизнесу? Это то, что мы собираемся рассмотреть. Значение оптимизированных изображений Высококачественный контент, подходящий для современного цифрового мира, является многогранным, многоплатформенным и очень разнообразным по своим структурным элементам. Мы должны знать о технических деталях и, эй, все это SEO хорошо, но прежде чем вы начнете реализовывать стратегии и планы как сумасшедшие, вы должны хорошо уладить основы, не так ли?
Иногда это потому, что люди думают, что это не имеет значения, а иногда это потому, что они просто не понимают этого - но заслуживает ли это вашего внимания? Что это включает, и имеет ли это отношение к вашему онлайн-бизнесу? Это то, что мы собираемся рассмотреть. Значение оптимизированных изображений Высококачественный контент, подходящий для современного цифрового мира, является многогранным, многоплатформенным и очень разнообразным по своим структурным элементам. Что мы можем сделать для вас и как мы можем это сделать?
Что мы можем сделать для вас и как мы можем это сделать? Опираясь на наше понимание поведения поисковой системы и его влияние на Дизайн сайта , мы будем: Поместите вас впереди Соревнование Продвиньте веб-сайт к первой странице результатов поиска. Каждая страница веб-сайта тщательно подготовлена нашей командой для удобства поиска. Методы, которые мы используем, являются результатом Вы бы не сказали, что ваш сайт особенно заметен в Google, не так ли?
Вы бы не сказали, что ваш сайт особенно заметен в Google, не так ли? Вы настраиваете свой сайт со всей иллюзией мира, вы садитесь, чтобы ждать потока трафика и ... Абсолютно ничего не происходит. Не посещение, не комментарий, не «лайк» в Facebook. И зачем говорить о продажах. В великой какофонии, которую мы называем Интернетом, оставаться незамеченным является правилом, а не исключением. И не потому, что то, что вы предлагаете, плохо или Как только мы видим полный результат поиска, мы чувствуем необходимость нажать на него, не так ли?
Как только мы видим полный результат поиска, мы чувствуем необходимость нажать на него, не так ли? В этом и заключается схема: представление информации в более структурированной и наглядной форме, чтобы вы знали, чего ожидать при клике… и действительно хотите нажать на нее. Реализация схемы предоставляет дополнительную информацию для посетителей и, следовательно, стимулирует больше посещений. Идеальная беспроигрышная ситуация! Что такое схема Schema.org - это словарь Вы можете спросить, почему это должно иметь для вас значение, если вы не имеете дело с сомнительной тактикой SEO и вы, конечно, никогда не покупали ни одной обратной ссылки в своей жизни?
Вы можете спросить, почему это должно иметь для вас значение, если вы не имеете дело с сомнительной тактикой SEO и вы, конечно, никогда не покупали ни одной обратной ссылки в своей жизни? Ну, это из-за негативного SEO, так как спам обратные ссылки являются одними из самых известных негативных тактик SEO. Если ты не знал, отрицательный SEO это то, что ваши конкуренты могут сделать, чтобы навредить вашему рейтингу. И, как ни Является ли 5000 долларов разумным бюджетом для вас, чтобы инвестировать, пока мы работаем над тем, чтобы вы получали до 375 дополнительных продаж в месяц и более?
Является ли 5000 долларов разумным бюджетом для вас, чтобы инвестировать, пока мы работаем над тем, чтобы вы получали до 375 дополнительных продаж в месяц и более? Клиент: Да, мы готовы сделать это. Я: Замечательно! Позвольте мне составить для вас официальное предложение, и если все в нем будет хорошо для вас, тогда вы можете подписать его, и мы сразу же сможем двигаться вперед. Я могу получить это по электронной почте в течение двух дней. Клиент: Звучит отлично! Я буду Почему Google не ценит это так, как вы?
Почему Google не ценит это так, как вы? Вполне возможно, что ваш дизайн может выглядеть великолепно, но не учитывает все аспекты SEO. Вас может сдерживать любое количество вещей, в том числе: Дублированный контент Недостаточно контента Старый, нетронутый, несвежий контент Запутанная навигация Разделить фокус на ключевые слова, поэтому есть несколько страниц, которые могут ранжироваться для данного слова Как владелец бизнеса, не хотите ли вы использовать лучшую CMS и убедиться, что удовлетворяете свои потребности в SEO?
Как владелец бизнеса, не хотите ли вы использовать лучшую CMS и убедиться, что удовлетворяете свои потребности в SEO? Ваш бизнес-сайт является неотъемлемой частью вашего цифровой маркетинг Стратегия и выбор WordPress в качестве CMS помогут вам создать основу для правильного SEO. Итак, каковы основные причины, почему WordPress является лучшей CMS для SEO? 10 главных причин, почему WordPress - лучшая CMS 10. Оставили ли эту страницу Google+, чтобы умереть в пустыне неактивных аккаунтов в социальных сетях, чтобы сосредоточиться на других?
Оставили ли эту страницу Google+, чтобы умереть в пустыне неактивных аккаунтов в социальных сетях, чтобы сосредоточиться на других? Рассмотрим часть ежедневного набора сообщений. Поскольку это социальная сеть Google, у нее будет преференциальный режим независимо от поиска. 4. Угробить сложный UX и URL Аудит веб-сайта может занять несколько дней прокрутки, записи и использования различных инструментов. Даже если вы считаете свой сайт чистым и оптимизированным, запуск такой программы SEO Yoast ни в коем случае не является плохим, но если вы планируете оптимизировать свой сайт только для заголовка и описания, зачем устанавливать такой плагин, как Yoast SEO?
SEO Yoast ни в коем случае не является плохим, но если вы планируете оптимизировать свой сайт только для заголовка и описания, зачем устанавливать такой плагин, как Yoast SEO? Вердикт Yoast SEO плагин отлично подходит для тех, у кого есть большой коммерческий сайт, сильно зависящий от трафика с поисковых систем. Если вы думаете, что могли бы использовать обширные опции SEO, доступные на панели инструментов плагина, вы обязательно должны его использовать. Однако, если у вас есть
Txt?
Txt?
Txt для Google?
Txt?
Txt?
Txt?
Txt?
Txt?
Txt?
Txt?