Крок: Система комплексного мониторинга

Компания «Крок» представила систему комплексного мониторинга, доступную как в формате управляемого сервиса из облака «Крок», так и для развертывания на собственной площадке.

Назначение

За работоспособность ИТ в крупной компании нередко отвечают несколько систем мониторинга, которые либо поставляются вместе с аппаратными комплексами, либо внедряются точечно для отдельных участков инфраструктуры. Информация от этих систем оказывается разрозненной и хранится исключительно в их собственных базах данных. В результате её невозможно использовать для комплексной аналитики, которая поможет определять корневые причины проблем в ИТ.

Решение «Крок» для зонтичного мониторинга позволяет максимально использовать уже имеющиеся компоненты мониторинга и их данные для обеспечения бесперебойной работы ИТ-сервисов.

Система комплексного мониторинга (СКМ) создана как ответ на 3 вызова, с которыми сталкиваются отечественные заказчики – зарубежные санкции, технологические ограничения и высокая стоимость владения.TAdviser выпустил Гид по российским операционным системам 9.9 т

Зарубежные санкции заставляют заказчиков рассматривать во всех сферах ИТ альтернативные или отечественные решения и услуги, позволяющие им получить некую политическую защиту – как в настоящем, так и в будущем. Помимо этого, многие заказчики, имея большой опыт внедрения крупных программных комплексов, начинают понимать, что большая «коробка», готовое решение от промышленного вендора, не всегда позволяет получить необходимые функции, гибкую архитектуру, не говоря о том, то не всё оборудование или ПО поддерживается. Им приходится каким-то образом самостоятельно обходить различные технологические ограничения или работать только в рамках доступных возможностей. Третий вызов – цена. После 2014 года стоимость владения зарубежным ПО значительно повысилась и повышается до сих пор.

Эти три аспекта стали причинами и программы импортозамещения, и поиска разработок open source, чтобы выстраивать гибкое, эффективное и вендоронезависимое решение. В практике «Крок» они вылились в ряд RnD-проектов и появлении решений, на основе которых можно получить программные комплексы, эквивалентные по функциональным возможностям промышленным решениям. Знания, полученные за двадцатипятилетнюю историю взаимодействия с крупными вендорами, их программными продуктами – архитектурой, подходами, технологиями – позволили компании «Крок» создавать подобные комплексы, но уже на открытых компонентах.

Система комплексного мониторинга объединяет более 10 продуктов с открытым кодом, обеспечивая максимальную гибкость интеграции с элементами инфраструктуры

СКМ – один из таких примеров. Понимая ИТ-архитектуру, зная текущую проблематику заказчика и обладая широкой экспертизой во многих областях, «Крок» разработал собственный стек решений и технологий для комплексного мониторинга ИТ.

Функциональность

1. Инфраструктурный мониторинг – мониторинг серверов, сетевого оборудования, дисковых подсистем, инженерного оборудования, инфраструктурных и веб-сервисов и т.д., отслеживание работоспособности приложений и элементов приложений.

2. Транзакционный мониторинг – каков объем полезного трафика проходит по сети? Какие транзакции содержатся в полезном трафике? Как быстро они выполняются? Быстро ли работают пользовательские операции в интерфейсе?

3. Мониторинг бизнес-сервисов – из каких конфигурационных единиц состоит ИТ-инфраструктура? Какие из них влияют на работу бизнес-сервисов? Как высокая загрузка процессора, выход из строя диска в дисковом массиве или недоступность маршрутизатора повлияли на показатели компании?

Уровни сбора, обработки и визуализации данных

СКМ обладает модульной архитектурой, позволяющей выбирать необходимые модули под конкретные требования заказчика на трех логических уровнях. Первый – уровень сбора данных о функционировании ИТ-инфраструктуры. Источниками этих данных могут быть как инсталлируемые инструменты, так и уже имеющиеся у заказчика системы: учетные, системы управления, даже какие-то самописные решения.

При этом нас интересуют два глобальных типа данных: события о сбоях в тех или иных системах или объектах мониторинга и показатели функционирования – например, параметры доступности, производительности и т. д. Этот уровень модифицируется в зависимости от ИТ-ландшафта, с которым мы работаем, и тех систем, которые есть у заказчика, и он может быть изменен наиболее гибко, - поясняет Валентин Нык, руководитель отдела систем управления ИТ-инфраструктурой «Крок».

Следующий логический уровень, самый сложный, но также изменяемый – обработка и агрегация данных. Массив данных, который поступил из внешних систем, интеллектуально обрабатывается и принимает форму готовой аналитической информации: к примеру, он позволяет найти первопричину сбоя, аномалию функционирования ИТ-инфраструктуры. На этом уровне включаются различные наработки «Крок»: аналитические движки, элементы машинного обучения, построение ресурсно-сервисных моделей, сложные корреляционные правила на основе которых можно провести сложную аналитику.

Построение адекватной ресурсно-сервисной модели – очень нетривиальная задача, логика расчета в ней достаточно сложная. Ранее эту функцию действительно выполняли только большие закрытые вендорские решения. Но теперь «Крок» тоже умеет делать подобные расчеты, причем на открытом ПО.

Кроме того, мы используем машинное обучение в области систем мониторинга. Не секрет, что для адекватного построения модели поведения объекта необходимы большие объемы, и мониторинг — хороший источник для этой, по сути, Big Data. Мы собираем информацию о функционировании объектов инфраструктуры, чтобы делать сложную аналитику, которая позволяет добиться, к примеру, прогнозирования показателей ИТ-инфраструктуры или сервиса, - добавляет Валентин Нык.

Обработка данных мониторинга движком машинного обучения позволяет модели самостоятельно обучаться выявлению причинно-следственных связей. Это позволит либо предиктивно отреагировать на проблему, либо реактивно ее решить в случае возникновения. Накопленная база знаний о возможных путях решения проблемы помогает оператору системы выбрать наиболее подходящее. Практика показывает, что такой подход позволяет значительно сократить время восстановления после сбоя. Это, по сути, шаг в будущее — когда движки машинного обучения будут предсказывать проблемы предиктивно или реактивно их решать в автоматическом режиме с помощью инструментов автоматизации, основываясь на базе знаний. Будущее систем мониторинга за интеллектуальной обработкой событий.

Третий уровень – визуализация уже обработанной информации: различные дашборды, отчеты – своеобразный ситуационный центр. Здесь «Крок» предлагает интуитивно понятный, функциональный дизайн, индивидуальный для каждого заказчика, используя открытые фреймворки с готовым набором различных графических виджетов и портлетов.

Преимущества перед проприетарными продуктами

Независимость от вендора в нештатных ситуациях. Ожидание новой версии проприетарного продукта может длиться месяцами, заказные доработки приводят к непредсказуемому поведению работывсего программного комплекса и росту ИТ-бюджета.

Модульная архитектура. Решение «Крок» разработано с учетом существующей рыночной ситуации и позволяет интегрироваться с любыми продуктами ведущих разработчиков. При этом заказчик может подобрать те функции, которые актуальны именно для него, и отказаться от ненужных.

Высокая кастомизация интерфейса. При использовании проприетарных систем заказчик подстраивается под преднастроенные индикаторы, зачастую не получая нужной ему детализации отображения.

Простая встройка в существующий ИТ-ландшафт. Проприетарные продукты могут не иметь необходимых заказчику инструментов для сбора данных. Это ставит под угрозу весь мониторинг как таковой и приводит к дополнительным расходам на доработку решения. При этом часть необходимой функциональности может остаться недоступной.

В случае использования решения «Крок» при сборе данных мы не ограничены в источниках или поддерживаемых технологиях — так как готовы к тому, что многие вещи нужно будет дорабатывать под заказчика. Мы изначально открыты к расширению функционала и включению в систему определенных, первоначально не поддерживаемых источников данных, - поясняет Валентин Нык.

Варианты использования

Заказчики могут использовать систему интеллектуального мониторинга из облака «Крок» в формате управляемого сервиса или развернуть его на собственной площадке. Сервис позволяет перевести капитальные затраты в OPEX, а также гибко управлять функциональностью системы и выбирать только те возможности, которые действительно необходимы компании. За счет использования решения из облака заказчик получает готовый продукт уже через 2 недели после подписания договора.

Стоимость владения

Исследования «Крок» показали, что стоимость владения (TCO) зарубежного продукта, куда входит стоимость лицензий, поддержки, услуг по его разворачиванию и настройке в среднем более чем в 2 раза выше, чем стоимость внедрения стека технологий, который разработал «Крок».

На самом деле, для многих компаний SMB внедрение вендорских решений мониторинга слишком дороги, а сейчас ситуаций только ухудшается. Они либо искали продукты каких-то нишевых игроков с разумным ценником, но небольшим функционалом, либо использовали отдельные компоненты open source, наращивая собственную компетенцию. Мы же приходим с полным стеком решений, которые позволят закрыть все потребности бизнеса, но при этом учесть возможности каждого заказчика индивидуально. Каждый логический уровень СКМ может быть функционально упрощен или, наоборот, расширен — и от этого будет зависеть его стоимость. Поэтому решение подходит в том числе и для сегмента SMB, под проекты в пределах нескольких миллионов рублей, - рассказывает Валентин Нык, руководитель отдела систем управления ИТ-инфраструктурой «Крок».