В последние годы анализ лог-файлов возвращается в техническую SEO, поскольку все больше и больше SEO-специалистов осознают всю мощь работы с веб-сайтом. файлы журнала сервера , Это отлично руководство по анализу файла журнала от BuiltVisible - отличное место, чтобы узнать больше об этом.
Лично я должен признать, что много лет не обращал особого внимания на файлы журналов. В начале моей карьеры файлы журналов были всем, что мы имели, когда дело дошло до анализа эффективности веб-сайта, и мы использовали такие инструменты, как AW Stats служить элементарной веб-аналитикой. Когда появилась аналитика на основе JavaScript, файлы журналов были быстро заброшены, и мы сосредоточились на новых блестящих отчетах, которые могли бы создавать такие инструменты, как Urchin и Omniture. Попутно мы забыли, как файлы журналов могут быть невероятно полезны для других целей.
Это забытое знание теперь вновь открыто. Некоторые оптимизаторы старой школы никогда не переставали просматривать файлы журналов, и я считаю, что эти люди более чем немного смущены обновленным вниманием к файлам журналов как источнику понимания SEO.
Поскольку в последние пару лет я снова углублялся в файлы журналов сервера, я полагался на такие инструменты, как Apache Log Viewer извлечь полезную информацию из файлов журнала сервера. Однако теперь у нас есть новый инструмент, специально разработанный с нуля, чтобы помочь SEO-специалистам использовать файлы журналов.
Этот новый инструмент является Анализатор файла журнала Screaming Frog - Брат и сестра Screaming Frog SEO Spider.
Мне повезло, что я попробовал Log File Analyzer в бета-версии, и теперь, когда он опубликован, я не могу дождаться, чтобы поделиться с вами некоторыми из невероятных применений этого инструмента.
Импорт файлов журнала
Прежде всего, вам понадобятся файлы журнала сервера вашего сайта. Они часто хранятся на веб-сервере в папке / logs / или / access_logs /, и вы можете использовать FTP для загрузки этих файлов на ваш компьютер.
Поскольку файлы журнала сервера могут быть очень большими на сайтах с большим трафиком, важно выбрать подходящий диапазон дат для анализа. Файлы журнала, охватывающие слишком короткий период времени, не дадут вам много значащего понимания, но если вы анализируете слишком большой период времени, ваш анализ будет очень медленным и может пострадать от огромного количества данных.
Для начала я бы порекомендовал взять файлы журналов за последний полный месяц и начать анализ оттуда. Вы быстро узнаете, достаточно ли данных для работы или вам нужно больше.
Импортировать эти файлы журналов в Screaming Frog Log File Analyzer очень просто: просто перетащите файлы в главное окно, когда вы запускаете инструмент в первый раз. Инструмент может попросить вас подтвердить корневой URL анализируемого веб-сайта, поскольку его не всегда можно извлечь из самих файлов журнала.
Как только файлы будут импортированы, вы получите обзор панели мониторинга, подобный этому:
На этой панели вы можете сразу увидеть, какие поисковые роботы сканируют ваш сайт и как часто, сколько страниц они сканируют и какие коды статуса HTTP возвращаются. Это полезный обзор того, насколько хорошо просканирован ваш сайт.
Затем вы можете копать дальше в файл журнала данных. Например, вы можете определить, какие ваши URL-адреса с самым медленным ответом и какие URL-адреса приводят к ошибкам 4xx Not Found. Для последнего отчета просто перейдите на вкладку «Коды ответов» и выберите тип кода состояния HTTP, который вы хотите просмотреть:
Точно так же вы можете увидеть, какие URL на вашем сайте были просканированы и как часто. Вы можете отфильтровать все данные по поисковому боту, чтобы вы могли, например, точно узнать, как часто Googlebot-Mobile заходит на ваш сайт и какие страницы он сканирует.
Сами файлы журналов уже предоставляют обширную информацию, которая может помочь вам проанализировать эффективность вашего сайта.
Импорт данных URL
Этот тип анализа довольно крутой, но сам по себе он мало что говорит. Настоящее веселье начинается, когда вы объединяете данные этого файла журнала с другими данными URL.
Например, вы можете сравнить данные файла журнала с вашей XML-картой сайта, чтобы точно определить, как часто URL-адреса вашей карты сайта сканируются поисковым роботом. При использовании стандартных анализаторов файлов журнала вам нужно будет экспортировать данные файла журнала в электронную таблицу и вручную сравнить их с URL-адресами вашей карты сайта.
С анализатором файлов журнала Screaming Frog этот инструмент сделает за вас тяжелую работу. Вы можете импортировать данные URL из самых разных источников и комбинировать их с данными файла журнала для создания всевозможных полезных отчетов. После того, как вы импортировали как данные файла журнала, так и данные URL-адреса, отчет позволяет вам отображать URL-адреса, которые соответствуют или не совпадают с этими двумя наборами данных:
Теперь реальная ценность инструмента становится очевидной. Сравнивая данные файла журнала с любым набором данных URL, вы можете проанализировать свой веб-сайт на наличие целого ряда различных проблем:
- Какие страницы на вашем сайте просматриваются чаще всего? Эти страницы вы хотите сканировать больше всего?
- Какие страницы на вашем сайте не сканируются вообще - например, страницы-сироты?
- Все URL-адреса ваших XML-карт просматриваются? Если нет, то почему?
- Как часто Googlebot проверяет ваш файл Sitemap для новостей?
- Как часто просматриваются страницы, разбитые на страницы, по сравнению с страницами вашей основной категории?
- Когда страница изменяется, сколько времени занимает повторное сканирование до обновления поискового индекса?
- Как новая входящая ссылка влияет на скорость сканирования?
- Как быстро сканируется ваш недавно запущенный сайт или раздел сайта?
- Неужели сканеры тратят чрезмерное количество времени на сканирование URL-адресов, которые не повышают ценность SEO?
- так далее…
Потенциал для анализа практически неограничен. Сравнивая любой набор данных URL с вашими файлами журналов, вы можете получить значительную информацию о взаимодействии вашего сайта с поисковыми пауками, такими как Googlebot. Это, в свою очередь, позволяет вам выявить проблемы с вашим сайтом, которые обычные инструменты SEO не смогут легко идентифицировать.
Экономия времени и восстановление мозга
Когда Screaming Frog впервые выпустила своего SEO-паука, он быстро стал одним из любимых инструментов SEO-сообщества. В то время как другие инструменты для сканирования, такие как Xenu, существовали до появления Screaming Frog, множество функций лягушки значительно облегчили жизнь профессиональным оптимизаторам. Это сэкономило нам невероятное количество времени, которое в противном случае пришлось бы тратить на анализ данных сканирования вручную.
Теперь, с помощью Log File Analyzer, ребята из Screaming Frog сделали это снова. Еще раз они создали инструмент, который экономит много ручного труда, тем самым делая нашу жизнь как SEO-специалистов намного проще. Я использую Log File Analyzer только в течение нескольких недель, но уже он стал стандартным инструментом для перехода на любой новый веб-сайт, который я анализирую.
Без анализатора файлов журналов файлы журналов являются громоздким источником данных, требующим большого количества листов Excel и формул VLOOKUP. С анализатором мой бедный маленький мозг получает заслуженный отдых, поскольку инструмент выполняет большую часть тяжелой работы для меня. И за это я бесконечно благодарен команде Screaming Frog.
Вы можете Загрузите анализатор файлов журнала Screaming Frog здесь ,
Похожие
Анализатор плотности ключевых словИзмерение плотности ключевых слов в контенте веб-страницы является одним из методов, используемых роботами поисковых систем для определения релевантного контента каждой страницы. Плотность основана на частоте каждого слова (или фразы) в контенте. Например, 5 раз слово в пределах 100 имеет гораздо большее значение, чем 10 раз слово в пределах 1000. Наиболее важной особенностью нашего анализатора плотности ключевых слов является то, что его можно использовать Как исправить ошибку 502 в Screaming Frog, чтобы иметь возможность сканировать сеть
Настало время провести аудит веб-сайта, будь то клиент или возможное предложение, и первое, что вы делаете, - это помещаете домен в Screaming Frog, чтобы посмотреть, как он работает. Зас Зас ... вы идете и обнаруживаете, что Screaming Frog не сканирует сеть , вы начинаете проверять конфигурацию Screaming Frog, все в порядке ... еще раз проверьте команду сайта: посмотрите, проиндексирована ли сеть ... Все в порядке, проверьте Кэш Google, чтобы проверить, что все в порядке и Оптимизация URL для SEO: полное руководство по SEO 2019
Статья обновлена 23/04/2018 (специальные символы и акценты в URL), опубликована изначально 12/09/2009 Формат URL Прежде всего, обязательно прочитайте полное руководство по синтаксису URL (поддомен, доменное имя, расширение, каталоги и т. д.). Стабильность URL, самый важный критерий Не изменяйте URL своих страниц только для добавления ключевых слов, особенно если ваш SEO Как создать свой собственный URL Shortener
Как потребитель или кто-то, кто просто путешествует по сети, вы, вероятно, не заботитесь о том, как или почему URL сокращается, и это идея. Вы можете заметить, что ссылка короткая и не похожа на название компании, но в настоящее время это настолько распространено, что обращать внимание на то, как выглядит ссылка, просто не о чём-либо. Фактически, многие люди, с которыми я говорил, даже не замечают, сокращается ли вообще ссылка. Так кого это волнует? Владельцы малого бизнеса должны. Сколько времени занимает управление репутацией?
Примерно первое, что потенциальный клиент по управлению репутацией спросит при рассмотрении вопроса о том, чтобы кто-то убрал свое имя в результатах поиска, это: «Сколько времени это займет?» Это, к сожалению, не так просто ответить. Развертывание контента и изменений для замены чего-то негативного в Google и Bing является сложным процессом, включающим буквально тысячи переменных, и SISTRIX расширяет базу данных ссылок данными Majestic
Есть хорошие новости о нашем модуле ссылок. SISTRIX и величавый , один из самых уважаемых поставщиков данных о ссылках, теперь является партнером. С сегодняшнего дня мы расширяем нашу базу данных в модуле ссылок без дополнительных затрат с данными ссылок из Majestic. Если функция LinkPlus для домена Google изменил способ чтения файлов robots.txt
это Поиск Форсайт кто говорит нам: Советы по построению мудрых URL-адресов SEO
Хотя ваш мета-заголовок и мета-описания невероятно важны для SEO, возможно, наиболее важным фактором является построение URL. Ваш URL наверняка должен содержать целевую ключевую фразу внутри, но это еще не все. Ваши URL-адреса также должны быть структурированы таким образом, Как выбрать канонический URL для вашего сайта
Вы когда-нибудь замечали, что некоторые сайты имеют разные версии своих доменных имен? Если вы ввели «www» перед доменом, и он автоматически переходит на адрес без www, вы видите канонизацию Советы по оптимизации отелей: Ваш сайт соответствует этим рекомендациям по URL?
Задумывались ли вы о структуре URL вашего отеля в последнее время? Наверное, нет, но вы должны. Помимо доменного имени, ваши URL-адреса являются наиболее важным элементом общей структуры вашего сайта. Давайте вернемся к основам и рассмотрим некоторые рекомендации по URL для вашего сайта отеля. Это обеспечит вашим посетителям лучший пользовательский опыт, который может привести к увеличению количества бронирований. Возвращаясь к основам Унифицированный указатель ресурса (URL) Важность именования изображений для SEO
Оптимизация изображений - это длительный, но жизненно важный процесс улучшения позиции вашего сайта на страницах результатов поиска. Он состоит из множества элементов, некоторые из которых очевидны (например, выбор изображений, которые имеют отношение к вашему контенту), а некоторые из них менее очевидны (например, сжатие файла изображения в улучшить время загрузки страницы ). Одним из показателей процесса
Комментарии
Вы создали свой собственный URL для своей компании?Вы создали свой собственный URL для своей компании? Видели ли вы какие-либо улучшения в CTR или вовлеченности с тех пор, как вы переключились? Дайте нам знать вашу историю и ваши мысли в комментариях ниже. Какие есть варианты отправки URL в Google?
Какие есть варианты отправки URL в Google? Консоль поиска Google (Инструменты для веб-мастеров) Если у вас есть настройка Google Search Console, я бы порекомендовал этот метод. Просто идите к https://www.google.com/webmasters/ и перейдите на свой веб-сайт, и с левой стороны вы увидите элемент навигации под названием «Сканирование», который можно развернуть, а затем выберите «Получить в Google». Дайте Нужна помощь в структурировании ваших URL?
Нужна помощь в структурировании ваших URL? Я более чем счастлив! Свяжитесь со мной в любой момент. Какое расширение я должен использовать в URL?
Какое расширение я должен использовать в URL? На мой взгляд, ответ прост: независимо от вашего расширения файла! Вам даже не нужно его использовать (см. Пример Википедии). То, что он заканчивается на .html, не означает, что это документ HTML. Важно то, что ваша страница на самом деле закодирована в HTML (если это возможно без слишком большого количества ошибок!). Если вы не добавите расширение в конец URL-адреса, у вас, скорее всего, будет стабильный URL-адрес независимо Внесенные мной изменения вызвали серьезные изменения в структуре URL моего веб-сайта?
Внесенные мной изменения вызвали серьезные изменения в структуре URL моего веб-сайта? Старый контент по-прежнему доступен по старым ссылкам или они не доступны по старым ссылкам? Могу ли я проверить все старые ссылки и убедиться, что ничего не изменилось в URL старых страниц и что одно и то же содержимое на старых страницах не доступно с совершенно другого URL на моем сайте (который может динамически генерироваться вашей темой WordPress в некоторых случаях) Если вы распространяете Вы можете подумать, что у вас нет перенаправлений в HTML, но как насчет ваших файлов CSS, изображений или внешних скриптов?
Вы можете подумать, что у вас нет перенаправлений в HTML, но как насчет ваших файлов CSS, изображений или внешних скриптов? Убедитесь, что вы знаете, какие ресурсы вызывает ваша страница во время загрузки. Использовать инструмент скорости страницы сделать это. Убедитесь, что все ресурсы вызываются способом, который не создает перенаправление. (Пример. Если ваш сайт использует «www», убедитесь, что вы вызываете css и другие файлы, используя Вы думаете о настройке ваших параметров URL вообще?
Вы думаете о настройке ваших параметров URL вообще? Вы можете использовать Google Search Console практически для всего . Известный как Инструменты Google для веб-мастеров в течение почти десятилетия, Google ребрендинг его набор инструментов, как Google Search Console в 2015 году. С каждым новым годом Google предоставляет нам новые Аналитический: будь аналитичен и ориентирован на данные, можешь ли ты писать SQL и работать с большими объемами данных?
Аналитический: будь аналитичен и ориентирован на данные, можешь ли ты писать SQL и работать с большими объемами данных? Большой! У нас есть несколько наших аналитиков, готовых сотрудничать с вами в поддержке идей, которые вам необходимо собрать. Техническая информация: у нас есть разработчики, готовые работать с вами, поэтому было бы полезно, если бы вы могли написать код и были в состоянии подробно объяснить ваши пожелания относительно реализаций, касающихся SEO и новых функций. Другими словами, если вы начинаете с ненадежных или очень, очень неточных данных, делает ли наложение большего и большего количества экстраполяций сверху положение хуже, чем было раньше?
Другими словами, если вы начинаете с ненадежных или очень, очень неточных данных, делает ли наложение большего и большего количества экстраполяций сверху положение хуже, чем было раньше? Наверное. Я действительно считаю, что достаточное количество сценариев использования инструментов стало менее эффективным (или менее необходимым) на данном этапе. Рассмотрим, что когда-то было краеугольным камнем отраслевых исследований и данных: Ранжирование Анализ сложности Какой тип файла использовать?
Какой тип файла использовать? Перед загрузкой изображения на ваш сайт важно выбрать правильный тип файла. Это еще один чрезвычайно простой и быстрый способ улучшить ваш имидж SEO. Это также будет иметь более широкие преимущества в долгосрочной перспективе. Если вы попытаетесь добавить изображение на страницу с неверным типом файла, оно может отображаться неправильно. В худшем случае это не будет отображаться вообще. Даже если тип файла не является оптимальным, Влияют ли имена файлов изображений на SEO?
Влияют ли имена файлов изображений на SEO? Общепринято не использовать ключевое слово focus в имени файла изображения, особенно если вы уже использовали его в заголовках, подзаголовках блога. Также заманчиво сэкономить усилия на переименовании файла изображения, когда вы загружаете его на свой компьютер, особенно если вам не сразу предложили переименовать файл с именем по умолчанию, например «IMG_1234.jpg» или «Shutterstock_1234567890.jpg. ». Уровень важности именования
Эти страницы вы хотите сканировать больше всего?
Какие страницы на вашем сайте не сканируются вообще - например, страницы-сироты?
Все URL-адреса ваших XML-карт просматриваются?
Если нет, то почему?
Как часто Googlebot проверяет ваш файл Sitemap для новостей?
Как часто просматриваются страницы, разбитые на страницы, по сравнению с страницами вашей основной категории?
Когда страница изменяется, сколько времени занимает повторное сканирование до обновления поискового индекса?
Как новая входящая ссылка влияет на скорость сканирования?
Как быстро сканируется ваш недавно запущенный сайт или раздел сайта?
Неужели сканеры тратят чрезмерное количество времени на сканирование URL-адресов, которые не повышают ценность SEO?