Log Insight: продолжаем знакомство с решением для обработки данных журналов в облаке VMware

Log Insight: продолжаем знакомство с решением для обработки данных журналов в облаке VMware

В этой статье, как мы и обещали, продолжаем знакомиться с решением VMware Log lnsight, сосредоточив внимание на принципах и особенностях работы в кластерном режиме, необходимости использовать опцию ILB (Integrated Load Balancer). Также мы расскажем об особенностях организации поиска и перенаправления событий.

От автономного Log Insight — к кластерному

Возможность Log Insight работать в кластерном режиме дает определенные преимущества. Последняя версия продукта гарантирует обработку вдвое большего объема данных, приходящихся на каждый узел Log Insight. А если говорить о кластерном подходе, Clustered Log Insight может содержать до 12 узлов и обрабатывать до 2,4 Тб данных в сутки.

Несколько важных замечаний:

  • Для большинства случаев одновременное использование нескольких независимых узлов Log Insight не является обязательным.
  • Кластер Log Insight должен быть ассоциирован с одним дата-центром.
  • Если имеется несколько дата-центров, следует рассмотреть опцию форвардинга Log Insight.
  • Кластерная реализация не является обязательной и зависит от бизнес-требований.
  • Сконфигурированные standalone узлы Log Insight нельзя объединять, однако можно добавлять новые хосты к сконфигурированному узлу.
  • Для подключения к Log Insight используются FQDN-имена.
  • Автономный Log Insight не является целостным и отказоустойчивым.

В этой статье предлагаем рассмотреть конфигурацию двухнодного кластера, но имейте в виду, что для продакшен-среды должно быть минимум три узла.

Развертывание нового экземпляра Log Insight

Для развертывания нового экземпляра Log Insight обратимся к Loginsight-02 по соответствующей ссылке.

Развертывание нового экземпляра Log Insight

Рисунок 1. Развертывание нового экземпляра Log Insight

В процессе установки на странице выбора типа развертывания (Choose Deployment Type) будет предложено два варианта: выполнить подключение к существующему узлу (Join Existing Deployment) или запустить новое развертывание (Start New Deployment). В рассматриваемом примере выбирается первый вариант.

Выбор типа развертывания

Рисунок 2. Выбор типа развертывания

Поскольку происходит присоединение к существующему узлу, необходимо указать FQDN-имя Log Insight, например loginsight-01.itgrad.local, а затем нажать кнопку GO. После успешного выполнения процедуры выводится сообщение «Request to join was received successfully».

Добавление нового узла в кластер

Рисунок 3. Добавление нового узла в кластер

Как видно ниже, в разделе кластера (Cluster) присутствует строка, где узел с IP-адресом 192.168.120.121 посылает запрос на становление worker-ом, или, иначе говоря, участником кластера. Это действие необходимо разрешить нажатием кнопки Allow. Процесс займет некоторое время.

Пример запроса на становление участником кластера

Рисунок 4. Пример запроса на становление участником кластера

Как только процесс добавления нового участника в состав кластера будет выполнен, в панели управления Log Insight появится информация, указывающая на включение кластерного режима.

Включение кластерного режима

Рисунок 5. Включение кластерного режима

Настройка Integrated Load Balancer (ILB)

Интегрированная балансировка нагрузки (Integrated Load Balancer, ILB) в кластере vRealize Log Insight позволяет убедиться, что входящий обрабатываемый трафик принимается Log Insight, даже если какие-то из узлов кластера стали недоступны. Для включения функциональности ILB необходимо активировать опцию Enable Integrated Load Balancer и указать IP-адрес источника, ассоциированного с именем loginsight-01.it-grad.local, после чего сохранить изменения, нажав кнопку Save.

Конфигурация ILB

Рисунок 6. Конфигурация ILB

Обратите внимание на сообщение с предупреждением. Для окончательной конфигурации кластерного режима и использования функциональности ILB необходимо выполнить еще одно действие: реконфигурировать опцию vSphere Integration.

Пример сообщения о необходимости реконфигурировать vSphere Integration

Рисунок 7. Пример сообщения о необходимости реконфигурировать vSphere Integration

В окне vSphere Integration необходимо выполнить процедуру Unconfigure, нажав соответствующую кнопку.

Окно vSphere Integration

Рисунок 8. Окно vSphere Integration

При выполнении реконфигурации появится предупреждающее сообщение. Необходимо продолжить действие, нажав кнопку Continue, а затем OK. Обратите внимание, что опция «Настроить ESXi-хосты для отправки логов в Log Insight» (Configure ESXi hosts to send logs to Log Insight) должна быть включена. Все внесенные изменения необходимо сохранить, для чего следует нажать кнопку Save.

Пример конфигурации опции в окне vSphere Integration

Рисунок 9. Пример конфигурации опции в окне vSphere Integration

Чтобы убедиться в полноценности кластерной конфигурации, необходимо зайти в раздел кластера (Cluster). Здесь больше не будет сообщения о необходимости выполнить реконфигурацию vSphere Integration, а кластерный статус будет переведен в режим доступности (Available).

Обзор участников кластера

Рисунок 10. Обзор участников кластера

Перенаправление событий

Любой экземпляр Log Insight, вне зависимости от кластерного или standalone-режима, может быть настроен на пересылку событий. В процессе перенаправления событий Log Insight принимает их, сохраняя локально. Поскольку таких событий может быть очень много, предусмотрена функция архивирования.

Для просмотра перенаправленных событий необходимо перейти в раздел Event Forwarding и добавить новое назначение, нажав кнопку New Destination. Далее требуется указать имя назначения, FQDN хоста, задать протокол, определяющий, каким образом будет выполняться перенаправление событий, и другие дополнительные параметры, как показано на рисунке ниже.

Определение нового назначения

Рисунок 11. Определение нового назначения

Когда конфигурация завершена, самое время пройтись по событиям, поступающим на узел loginsight-03.it-grad.local. Для этого подключаемся к Log Insight и заходим на страницу интерактивной аналитики. Здесь отображаются собранные данные по журналам. При необходимости можно использовать фильтры, к примеру, просмотрев события, связанные только с ошибками. Для этого достаточно задать и применить условие с текстовым значением «error».

Страница интерактивной аналитики

Рисунок 12. Страница интерактивной аналитики

Мы рассказали об особенностях Log Insight, сосредоточив внимание на принципах кластерной реализации и необходимости использовать ILB (Integrated Load Balancer), рассмотрели, как выполняется поиск и перенаправление событий. Следите за новыми материалами нашего блога о корпоративном IaaS, в них мы продолжим рассказывать о решениях VMware.