1. преамбула
2. Интерес и полезность операции
3. Поток операций
4. Восстановление логов Apache
5. Очистка и подготовка данных
6. Выбор ботов
7. Удалить ненужные столбцы
8. Удаление лишних линий
9. Каковы сущности, и какие отношения их назначать?
10. Создание граничного файла для Gephi
11. Обработка данных с Gephi
12. Импорт файла NODE
13. Импорт файла EDGE
14. Подготовка информации для отображения
15. Преобразование даты
16. Визуализация и анимация
17. Каждому свой цвет
18. Небольшой алгоритм (в степени), чтобы выявить любимые URL-адреса бота
19. Макет презентации
20. Просмотр информации (URL)
21. Динамический предварительный просмотр сканирования с временной шкалой

Анализ журналов Apache и, в частности, сканирование известного grazer "Googlebot" - это задача, которая может быстро устареть, если не оттолкнуть. Идея этого руководства заключается именно в том, чтобы обратить вспять эту тенденцию: от непрозрачных данных, которые трудно прочитать, до графической, эстетической и динамической интерпретации, которая будет оценивать частоту сканирования и целевых страниц. Даже мой 2-летний сын бросил мне: «Как красиво! Когда он увидел окончательный рендеринг:

(Статический) рендеринг сканирования робота Googlebot, созданного с помощью Gephi

преамбула

В отличие от моего предыдущего поста на визуальные исследования сетей Я не мог сделать пошаговое руководство о том, как восстановить и предварительно обработать файлы журнала Apache. Это было бы слишком долго. Я также предполагаю, что вы знаете, как использовать электронную таблицу (Excel) для очистки и подготовки данных. Часть "Gephi" будет более подробной.

Обратите внимание на тенденцию гиков SEO, которые знают некоторые зачатки оболочки linux, не боятся трогать логи Apache, экспериментировать и особенно контролировать зверя » Gephi Который не тот тип, который нужно приручить за 5 минут. Тем не менее, это остается доступным для всех , и никаких навыков программирования не требуется.

Интерес и полезность операции

Небольшое краткое изложение полезности анализа сканирования роботом Google:

• Измерение частоты сканирования позволяет угадать интерес Google к нашим страницам ... Это не ничто! Сканирование и вся последующая обработка требуют от Google большого количества ресурсов, и он не заинтересован в том, чтобы отправлять своего бота 3 раза в день на глубокую страницу, которая мало посещается, датируется и никогда не обновляется.
• Частота сканирования, которая уменьшается со временем на странице, может быть интерпретирована как уменьшение интереса, который вызывает к нему Google, и как предвидение возможного снижения позиции (в теории, а).
• Это также позволяет находить страницы, которые труднодоступны для бота на больших сайтах, и оптимизировать индексацию.
• Глобальный анализ сайта Googlebot (в течение нескольких месяцев) на сайте также выделяет самые популярные страницы в глазах Google, то есть наиболее готовых к ранжированию.
• И в целом для статистики, журналы Apache, это самый надежный источник!
• Благодаря хорошему графическому и динамическому представлению этот тип анализа значительно облегчается, даже игрив.

Поток операций

Как обычно, путешествие будет проходить в 3 этапа:

1. Сбор данных (журналы Apache).
2. Очистка и подготовка данных в Excel.
3. Кухня в Гефи .

Восстановление логов Apache

В зависимости от трафика и масштаба сайтов, журналы могут быть очень громоздкими. Мы часто завариваем гига в течение нескольких недель, но это не должно быть препятствием в наших упражнениях.

Если вращение включено, а ваши старые файлы сжаты, вам нужно их разархивировать (Gunzip). Тогда не тратьте время на скачивание полных логов! Нас интересуют только записи, созданные роботом Google (часто низкий процент). Уже сделайте первую обработку на сервере в SSH. Например:
$ cat domain-access_log | grep -i googlebot> domain-access_log.googlebot

Чем больше ты возвращаешься назад во времени, тем лучше. Неважно, если ваши файлы разделены, мы объединим их позже. Чтобы образец был хорошо проработан, и чтобы мы могли оценить частоту сканирования, попробуйте скомпилировать журналы за 2 месяца.

Как только ваши файлы журнала будут чистыми (или нет), вам нужно будет преобразовать их в CSV. Ничего сложного, просто запустите скрипт perl "accesslog2csv.pl" ниже (или любой другой инструмент, который подходит):

#! / usr / bin / perl # # @file # Инструмент конвертации из файла общего журнала Apache в CSV. # # Весь код выпущен в соответствии с GNU General Public License. # Смотрите COPYRIGHT.txt и LICENSE.txt. # if ("$ ARGV [0]" = ~ / ^ - h | --help $ /) {print "Использование: $ 0 access_log_file> csv_output_file.csv \ n"; print "Или, $ 0 <access_log_file> csv_output_file.csv \ n"; print "Gold, $ 0 <access_log_file> csv_output_file.csv 2> invalid_lines.txt \ n"; Выход (0); }% MONTHS = ('Jan' => '01', 'Feb' => '02', 'Mar' => '03', 'Apr' => '04', 'May' => '05', 'Jun' => '06', 'Jul' => '07', 'Aug' => '08', 'Sep' => '09', 'Oct' => '10', 'Nov' => «11», «Dec» => «12»); распечатать STDOUT "\" Host \ ", \" Log Name \ ", \" Date Time \ ", \" Time Zone \ ", \" Method \ ", \" URL \ ", \" Code Response \ ", \ "Отправлено байтов \", \ "Referer \", \ "Агент пользователя \" \ n "; $ line_no = 0; while (<>) {++ $ line_no; если (/^([\w\.:-]+)\s+([\w\.:-]+)\s+([\w\.-]+)\s+\[(\d+)\/ (\ W +) \ / (\ d +): (\ d +): (\ d +): (\ d +) \ s ([\ ш \ + -] +)] \ s + «(\ W +) \ s + (? \ s +) \ s + HTTP \ / 1 \ \ d "\ s + (\ d +) \ s + ([\ d -] +) ((\ s +" ([^ "] +)" \ s + «). (? [^ "] +)")? $ /) {$ host = $ 1; $ other = $ 2; $ logname = $ 3; $ day = $ 4; $ month = $ MONTHS {$ 5}; год = 6 долларов; $ час = $ 7; $ min = $ 8; $ sec = $ 9; $ tz = $ 10; $ method = $ 11; $ url = $ 12; $ code = $ 13; if ($ 14 eq '-') {$ bytesd = 0; } else {$ bytesd = $ 14; } $ referer = $ 17; $ ua = $ 18; печать STDOUT "\" $ host \ ", \" $ logname \ ", метод $ год- $ месяц- $ день $ час: $ min: $ sec \", \ "GMT $ tz \", \ "$ \ "\" $ URL \ "$ код, $ bytesd, \" $ реферер \ "\, \" $ и \ "\ п"; } else {print STDERR "Неверная строка в $ line_no: $ _"; }}

Синтаксис:
$ perl accesslog2csv.pl domain-access_log> domain-access_log.csv
После этого загрузите файлы, чтобы перейти к следующему шагу.

Очистка и подготовка данных

Если в графическом представлении данных есть постоянное правило , это важность очистки . Малейшее приближение может дать каша.

Не имея возможности объяснить, почему, я могу правильно открыть CSV в Excel 2010, только предварительно преобразовав его в UTF-8. В противном случае разделители не интерпретируются.

Если вы еще этого не сделали на сервере, объедините ваши файлы в один.

Выбор ботов

Вы очень быстро заметите (и вы, вероятно, знаете это), что есть несколько роботов Google , проконсультируйтесь полный список здесь , Вы выбираете, какие из них вы хотите использовать, зная, что их можно будет дифференцировать во время графического рендеринга. Тем не менее, пользовательский агент " Mediapartners-Google ", специфичный для рекламы Adsense, отсутствует, поскольку у него нет названия "Googlebot". Если вы хотите использовать его, вам придется переделать фильтр перед сервером.

Удалить ненужные столбцы

Удалите столбцы «Имя журнала», «Часовой пояс», «Метод» и «Ссылка».
Колонка "Хост" (IP), с небольшим воображением, может быть полезна. Мы сохраняем это. Колонка «Дата» очень важна . URL, конечно, важен, «Код ответа» может иметь интерес как «Отправлено байтов». Что касается «Пользовательского агента», если вы сохранили только классический обход Googlebot 2.1, этот столбец вам не поможет.

Удаление лишних линий

И здесь это остается на усмотрение каждого. Мы можем удалить строки, которые соответствуют файлам изображений, .css, .js и т. Д. Есть также обходы на страницах 404, 301, 302, с параметрами сеанса ... Я советую начать с того, чтобы придерживаться канонических страниц (немного приготовив, мы могли бы импортировать и объединить канонический rel, что помощь). Тем не менее, эти линии могут быть хорошим индикатором для измерения возможных потерь и помогают оптимизировать сканирование.

Каковы сущности, и какие отношения их назначать?

Графическая визуализация сети передачи данных подразумевает наличие сущностей (узлов) и отношений (направленных или нет) между ними.

В этом случае мы не можем принять бота (User Agent) в качестве сущности (узла). То, что мы хотим представить на нашем графике, это каждый переход с Googlebot на страницы сайта. Если мы должны иметь отношение A -> B, мы уже знаем, что B соответствует URL, но для A оно остается немного более расплывчатым. Дата? Это первое, что приходит на ум, но в некоторых случаях оно может быть грязным: если вы решите, например, использовать несколько версий Googlebot (для изображений, мобильных устройств и т. Д.), Что произойдет, если в в ту же минуту на сайте работали 2 разных робота Google? В начале у нас была бы только одна сущность, тогда как на самом деле их было бы 2.

Идея состоит в том, чтобы создать дополнительный столбец, который мы назовем (обязательно) «Id». Предварительно вы должны отсортировать столбец «Дата» по порядку от самых старых до самых последних. Затем создайте столбец «Id». Введите в качестве первых значений «Сканирование 1», «Сканирование 2», затем сделайте инкрементную копию до конца вашего файла. Не просто помещайте числовые значения в этот столбец ID, вы поймете, почему позже.
Вот и все, отношения (края) будут также более ясными.

Если ваш файл чистый, и все в порядке, сохраните его , назвав его, например, «filename-NODE.csv».

Создание граничного файла для Gephi

Создайте новую версию своего файла, назвав его на этот раз «filename-EDGE.csv». Именно этот файл будет устанавливать отношения "Crawl x" -> "Url".
Переименуйте столбцы «Id» в «Исходный» и «Целевой» URL, возможно, оставьте столбцы «Дата» и «Отправленные байты» и удалите все остальные. Сохраните ваш файл как "filename-EDGE.csv".
Подготовка данных завершена :)

Обработка данных с Gephi

Те, кто следил за моей статьей на визуальное исследование обратных ссылок с Gephi быстро найдет ориентиры, интеграция данных происходит аналогичным образом.

Я также реализовал небольшой скринкаст (без звука), который снова шаг за шагом обрабатывает данные, описанные ниже:

Импорт файла NODE

1. Посмотрите вкладку «Лаборатория данных», пространство, посвященное обработке данных.
   Не импортируйте ваш файл через файл / открытое меню!
2. Создайте новый документ (Ctrl + Shift + N).
3. В окне «Таблица данных» выберите «Узлы».
4. Теперь нажмите «Импортировать таблицу», чтобы импортировать файл.
5. Откройте файл Node (например, filename-NODE.csv), выбрав правильный разделитель (запятая, точка с запятой, табуляция ...), «Как таблица» в «Таблице узлов» и соответствующую кодировку. Затем нажмите «Далее».
6. На следующем экране (настройки импорта) оставьте все в «строке», возможно, снимите отметки со столбцов, которые вы не хотите сохранять.
7. Если все прошло хорошо, у вас должны быть одинаковые столбцы «Nodes» и «Id».

Импорт файла EDGE

На этот раз мы импортируем файл Edge, который создаст различные отношения между каждым узлом. Снова нажмите «Импортировать электронную таблицу» и повторите операцию с файлом EDGE (например, filename-EDGE.csv). Не забудьте указать «Edge table» для «As table»! На следующем экране установите флажок «Создать отсутствующие узлы», чтобы автоматически создавать узлы, соответствующие URL-адресам.

Внимательно осмотрите таблицы «Узлы» и «Края» (рядом с кнопкой настройки). В вашей таблице узлов в конце файла должны быть сущности (URL), созданные автоматически при импорте файла Edge.

Подготовка информации для отображения

Будет полезно отобразить некоторую информацию в нашем графическом рендеринге, например, URL страниц, чтобы лучше их идентифицировать. С другой стороны, не беспокойтесь о публикации пользовательских агентов Googlebot, они будут охватывать все. Если есть несколько типов Googlebot (изображения, мобильные и т. Д.), Мы будем различать их с помощью другого цветового кода.
Чтобы подготовить почву, мы создадим новый столбец «Информация», посвященный отображению информации, но не будем сомневаться в использовании столбца «Метка» (немного длинно, чтобы объяснить, почему).

Еще в таблице «Узлы» создайте новый столбец («Добавить столбец» в нижних значках) типа string. Теперь мы продублируем значения столбца «ID» в «Инфо» с помощью кнопки «Копировать данные в другой столбец». Будьте осторожны при выборе исходного столбца (Id) и цели (Info).
Поскольку программное обеспечение требует копирования всех данных в столбце, теперь мы должны удалить все данные с помощью «Crawl XXX», чтобы сохранить только URL-адреса страниц.

Нажмите «Поиск / замена» рядом с «Импортировать электронную таблицу». В поисковой части поместите «Crawl [0-9] *» и оставьте «replace» пустым. Проверьте поиск по регулярному выражению и, прежде всего, укажите, что вы хотите сделать эту операцию в столбце «Информация»! Затем нажмите «Найти далее», затем «Заменить все» и, наконец, все в порядке. Ваш столбец "Информация" должен содержать только URL-адреса.

Преобразование даты

Весь интерес к этой операции есть: вовремя визуализировать эволюцию гусеничного робота-робота благодаря временной шкале в виде программного обеспечения для редактирования видео. Поскольку формат «20/03/2013 13:10» не является динамическим форматом, необходимо будет воссоздать столбец путем преобразования данных. Чтобы добиться этого, выполните этот процесс точно:

Вот и все, мы готовы перейти к следующему шагу! Тщательно сохраняйте файл , для следующего потребуется много проб и ошибок (Ctrl + Z все еще находится на стадии разработки в Gephi).

Визуализация и анимация

Вот и мы ... наконец-то! Нажмите на главную вкладку «Обзор» («Предварительный просмотр» только для статического рендеринга).

Как всегда в визуализации данных, первый рендеринг не дает много. Не прикасайтесь к части «Макет» на данный момент! Сначала мы будем различать узлы (представленные кружками) с разными цветовыми кодами, а затем алгоритмически варьировать размер последних в зависимости от количества попаданий ботов Google. По сути, чем больше узел, тем больше Google нравится страница.

Каждому свой цвет

В палитре партитур выберите «Узлы», щелкните значок обновления слева от раскрывающегося списка, выберите «Агент пользователя». Надеюсь, у вас должен быть список разных версий Googlebot с разными цветовыми кодами для каждой. «Нуль» - это страницы (URL): попробуйте придать им цвет, который будет разрезан (нажмите на цветовой квадрат для редактирования). Затем нажмите «Применить». Это начинает иметь смысл ...

Небольшой алгоритм (в степени), чтобы выявить любимые URL-адреса бота

Теперь откройте палитру «Ранжирование» (о чем вы говорите?), Активируйте «Узлы» и нажмите на значок с бриллиантом справа. Выберите «InDegree» в раскрывающемся списке «Выберите параметр ранга». Поставьте 8/80 для значений min / max size, при необходимости вы перенастроите их позже. Применить.

Макет презентации

Макеты - это алгоритмы распределения элементов (узлов / ребер) в пространстве. Их несколько, некоторые в виде плагинов, но наиболее подходящим для нашего примера является «Force Atlas» (версия 2, как мне кажется, менее полезна).

В палитре «Макет» выберите «Force Atlas» из выпадающего списка. Не нажимайте кнопку «Выполнить» . В настройках Force Atlas измените значение привлекательности на 0.2. Значения по умолчанию могут быть восстановлены в любое время с помощью кнопки сброса в нижней части палитры.

Теперь нажмите на игру и полюбуйтесь;)

Просмотр информации (URL)

Под графиком находится панель инструментов для управления отображением информации. Нажмите на значок «T» (черный для «Метки узла»). Ничего не происходит, нормально, наша колонка не заполнена. Теперь нажмите на иконку «атрибуты» (справа внизу с ключом). Теперь установите флажок «Информация» (в части «Узлы»), затем нажмите кнопку «ОК». Измените размер шрифта, если необходимо, с помощью ползунков, при желании отобразите их на черном фоне (значок лампочки слева). Класс нет?

Да ладно, лучшее для последнего ...

Динамический предварительный просмотр сканирования с временной шкалой

В нижней части интерфейса включите временную шкалу. Сверните окно времени, а затем продвиньте его вручную, чтобы лучше оценить прогресс робота Google.

Вы можете свободно играть с другими макетами, отображать объем, переданный с каждого сканирования, дату, IP и т. Д.

Небольшая дополнительная заставка для тех, кто испытывает затруднения после этой третьей и последней части:

Там. Я подозреваю, что многие не достигнут конца, возможно, из-за отсутствия смелости или из-за отсутствия реального интереса. И все же ясно одно: анализ логов, если он часто скрыт в сервисах SEO, чрезвычайно богат информацией и, прежде всего, надежным источником! И все же необходимо расшифровать их, сделав их «читабельными». Для этого есть графическая визуализация данных. В этом смысле Gephi предлагает анализ логов, альтернативное (и динамическое) чтение более традиционным визуальным элементам, таким как круговые диаграммы, кривые, гистограммы и так далее. И особенно возможности с Gephi очень обширны. Цель этого руководства также состоит в том, чтобы познакомить вас с этим совершенно бесплатным инструментом с открытым исходным кодом.
Более того, оно напоминает мне об этом приложении «Cognitive SEO», которое стоит один глаз, и одно из главных дополнительных преимуществ - это именно графические карты обратных ссылок на соус Gephi. Взгляните на Majestic SEO (если я не ошибаюсь, SEO использует их API), экспортируйте в Gephi (см. мой другой учебник по этому вопросу ), это более гибко, и это дешевле. Следующий пост о графическом исследовании сетей передачи данных очень скоро, на этот раз обратился к социальным сетям, в частности к Twitter.

Похожие

Комментарии