Анализатор файла журнала Screaming Frog

1. Импорт файлов журнала
2. Импорт данных URL
3. Экономия времени и восстановление мозга

В последние годы анализ лог-файлов возвращается в техническую SEO, поскольку все больше и больше SEO-специалистов осознают всю мощь работы с веб-сайтом. файлы журнала сервера , Это отлично руководство по анализу файла журнала от BuiltVisible - отличное место, чтобы узнать больше об этом.

Лично я должен признать, что много лет не обращал особого внимания на файлы журналов. В начале моей карьеры файлы журналов были всем, что мы имели, когда дело дошло до анализа эффективности веб-сайта, и мы использовали такие инструменты, как AW Stats служить элементарной веб-аналитикой. Когда появилась аналитика на основе JavaScript, файлы журналов были быстро заброшены, и мы сосредоточились на новых блестящих отчетах, которые могли бы создавать такие инструменты, как Urchin и Omniture. Попутно мы забыли, как файлы журналов могут быть невероятно полезны для других целей.

Это забытое знание теперь вновь открыто. Некоторые оптимизаторы старой школы никогда не переставали просматривать файлы журналов, и я считаю, что эти люди более чем немного смущены обновленным вниманием к файлам журналов как источнику понимания SEO.

Поскольку в последние пару лет я снова углублялся в файлы журналов сервера, я полагался на такие инструменты, как Apache Log Viewer извлечь полезную информацию из файлов журнала сервера. Однако теперь у нас есть новый инструмент, специально разработанный с нуля, чтобы помочь SEO-специалистам использовать файлы журналов.

Этот новый инструмент является Анализатор файла журнала Screaming Frog - Брат и сестра Screaming Frog SEO Spider.

Мне повезло, что я попробовал Log File Analyzer в бета-версии, и теперь, когда он опубликован, я не могу дождаться, чтобы поделиться с вами некоторыми из невероятных применений этого инструмента.

Импорт файлов журнала

Прежде всего, вам понадобятся файлы журнала сервера вашего сайта. Они часто хранятся на веб-сервере в папке / logs / или / access_logs /, и вы можете использовать FTP для загрузки этих файлов на ваш компьютер.

Поскольку файлы журнала сервера могут быть очень большими на сайтах с большим трафиком, важно выбрать подходящий диапазон дат для анализа. Файлы журнала, охватывающие слишком короткий период времени, не дадут вам много значащего понимания, но если вы анализируете слишком большой период времени, ваш анализ будет очень медленным и может пострадать от огромного количества данных.

Для начала я бы порекомендовал взять файлы журналов за последний полный месяц и начать анализ оттуда. Вы быстро узнаете, достаточно ли данных для работы или вам нужно больше.

Импортировать эти файлы журналов в Screaming Frog Log File Analyzer очень просто: просто перетащите файлы в главное окно, когда вы запускаете инструмент в первый раз. Инструмент может попросить вас подтвердить корневой URL анализируемого веб-сайта, поскольку его не всегда можно извлечь из самих файлов журнала.

Как только файлы будут импортированы, вы получите обзор панели мониторинга, подобный этому:

На этой панели вы можете сразу увидеть, какие поисковые роботы сканируют ваш сайт и как часто, сколько страниц они сканируют и какие коды статуса HTTP возвращаются. Это полезный обзор того, насколько хорошо просканирован ваш сайт.

Затем вы можете копать дальше в файл журнала данных. Например, вы можете определить, какие ваши URL-адреса с самым медленным ответом и какие URL-адреса приводят к ошибкам 4xx Not Found. Для последнего отчета просто перейдите на вкладку «Коды ответов» и выберите тип кода состояния HTTP, который вы хотите просмотреть:

Точно так же вы можете увидеть, какие URL на вашем сайте были просканированы и как часто. Вы можете отфильтровать все данные по поисковому боту, чтобы вы могли, например, точно узнать, как часто Googlebot-Mobile заходит на ваш сайт и какие страницы он сканирует.

Сами файлы журналов уже предоставляют обширную информацию, которая может помочь вам проанализировать эффективность вашего сайта.

Импорт данных URL

Этот тип анализа довольно крутой, но сам по себе он мало что говорит. Настоящее веселье начинается, когда вы объединяете данные этого файла журнала с другими данными URL.

Например, вы можете сравнить данные файла журнала с вашей XML-картой сайта, чтобы точно определить, как часто URL-адреса вашей карты сайта сканируются поисковым роботом. При использовании стандартных анализаторов файлов журнала вам нужно будет экспортировать данные файла журнала в электронную таблицу и вручную сравнить их с URL-адресами вашей карты сайта.

С анализатором файлов журнала Screaming Frog этот инструмент сделает за вас тяжелую работу. Вы можете импортировать данные URL из самых разных источников и комбинировать их с данными файла журнала для создания всевозможных полезных отчетов. После того, как вы импортировали как данные файла журнала, так и данные URL-адреса, отчет позволяет вам отображать URL-адреса, которые соответствуют или не совпадают с этими двумя наборами данных:

Теперь реальная ценность инструмента становится очевидной. Сравнивая данные файла журнала с любым набором данных URL, вы можете проанализировать свой веб-сайт на наличие целого ряда различных проблем:

• Какие страницы на вашем сайте просматриваются чаще всего? Эти страницы вы хотите сканировать больше всего?
• Какие страницы на вашем сайте не сканируются вообще - например, страницы-сироты?
• Все URL-адреса ваших XML-карт просматриваются? Если нет, то почему?
• Как часто Googlebot проверяет ваш файл Sitemap для новостей?
• Как часто просматриваются страницы, разбитые на страницы, по сравнению с страницами вашей основной категории?
• Когда страница изменяется, сколько времени занимает повторное сканирование до обновления поискового индекса?
• Как новая входящая ссылка влияет на скорость сканирования?
• Как быстро сканируется ваш недавно запущенный сайт или раздел сайта?
• Неужели сканеры тратят чрезмерное количество времени на сканирование URL-адресов, которые не повышают ценность SEO?
• так далее…

Потенциал для анализа практически неограничен. Сравнивая любой набор данных URL с вашими файлами журналов, вы можете получить значительную информацию о взаимодействии вашего сайта с поисковыми пауками, такими как Googlebot. Это, в свою очередь, позволяет вам выявить проблемы с вашим сайтом, которые обычные инструменты SEO не смогут легко идентифицировать.

Экономия времени и восстановление мозга

Когда Screaming Frog впервые выпустила своего SEO-паука, он быстро стал одним из любимых инструментов SEO-сообщества. В то время как другие инструменты для сканирования, такие как Xenu, существовали до появления Screaming Frog, множество функций лягушки значительно облегчили жизнь профессиональным оптимизаторам. Это сэкономило нам невероятное количество времени, которое в противном случае пришлось бы тратить на анализ данных сканирования вручную.

Теперь, с помощью Log File Analyzer, ребята из Screaming Frog сделали это снова. Еще раз они создали инструмент, который экономит много ручного труда, тем самым делая нашу жизнь как SEO-специалистов намного проще. Я использую Log File Analyzer только в течение нескольких недель, но уже он стал стандартным инструментом для перехода на любой новый веб-сайт, который я анализирую.

Без анализатора файлов журналов файлы журналов являются громоздким источником данных, требующим большого количества листов Excel и формул VLOOKUP. С анализатором мой бедный маленький мозг получает заслуженный отдых, поскольку инструмент выполняет большую часть тяжелой работы для меня. И за это я бесконечно благодарен команде Screaming Frog.

Вы можете Загрузите анализатор файлов журнала Screaming Frog здесь ,