ЮниДата Платформа управления данными

Платформа управления данными «Юнидата» — флагманский продукт компании «Юнидата», основанный на современном технологическом стэке свободного программного обеспечения (СПО). Переход к концепции продуктовой платформы, поддерживающей возможность расширения базовой логики и использования адаптивных модулей, позволил создать одно из самых мощных и эффективных мировых решений по управлению данными в мире.

Единая дорожная карта развития продукта опирается на современные тренды развития отрасли в области управления данными (Data Governance), обеспечения качества данных (DQ) и работы с нормативно-справочной информацией (НСИ), а также на новые технологии и способы обработки больших массивов данных. Впроцессе разработки и тестирования ПО используются современные подходы, которые развиваются и совершенствуются каждый день.

В целом «Юнидата» представляет собой многофункциональную платформу для построения на ее основе систем управления корпоративными данными, обеспечивающих:

• централизованный сбор данных (инвентаризация и учет ресурсов),
• стандартизацию сведений (нормализация и обогащение),
• учет текущей и исторической информации (контроль версий записи, периоды актуальности данных),
• качество данных и ведение статистики.

Спектр решений для разных нужд весьма широк: это и работа с контрагентами, и работа с кадрами, и материально-техническое обеспечение, и работа с номенклатурой, и создание клиентских баз.

Сфера применения также очень обширна: государственное управление, транспорт, промышленность, финансы, энергетика, розничная и оптовая продажа товаров и услуг, нефтегазовая отрасль транспорт, фармацевтика.Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft

История развития

2022: Совместимость с Libercat и Astra Linux

Компания «Юнидата» объявила 17 ноября 2022 года об окончании испытаний совместимости платформы «Юнидата» и продукта на ее базе, в частности «Юнидата MDM», с Java Development Kit – Axiom JDK (разработанного компанией BellSoft), сервера приложений Libercat (разработанного компанией BellSoft) и операционной системы Astra Linux CE 2.12.44 (Орёл).

Иллюстрация:ascention.com

Axion JDK – это прогрессивная среда разработки и исполнения JAVA с российской техподдержкой для коммерческих и государственных компаний. Libercat - Сервер приложений Java EE. Astra Linux - операционная система на базе ядра Linux, которая внедряется в России в качестве альтернативы Microsoft Windows и другим иностранным дистрибутивам Linux.

«Юнидата» – платформа управления данными, основанная на актуальном технологическом стеке свободного программного обеспечения (СПО). «Юнидата» - это многофункциональная платформа для построения систем управления корпоративными данными, обеспечивающая их централизованный сбор (инвентаризация и учет ресурсов), стандартизацию сведений (нормализация и обогащение), учет текущей и исторической информации (контроль версий записи, периоды актуальности данных), качество данных и ведение статистики. Продукт предоставляет широкий спектр возможностей по управлению информацией для получения актуальных и достоверных данных.

Среди основных функций платформы «Юнидата» - централизованный сбор данных, поиск и объединение дубликатов, анализ данных и формирование статистики, стандартизация и обеспечение качества данных, их выгрузка в сторонние информационные системы, управление данными на основании внутренних регламентов предприятия, предоставление прав на действие с данными. Переход к концепции продуктовой платформы, поддерживающей возможность расширения базовой логики и использования адаптивных модулей, позволил создать мощные и эффективные решения по управлению данными в мире. Платформа внесена в Реестр российских программ для электронных вычислительных машин и баз данных Минкомсвязи России (Свидетельство №2016610744).

Данный цикл совместных испытаний задумывался компанией «Юнидата» совместно с технологическими партнерами для поддержки усилий клиентов по импортозамещению в соответствии со общей стратегией компании. Отметим, что получение сертификата стало логичным следствием взятого «Юнидатой» курса на партнерство с российскими ИТ-компаниями.

Испытания убедительно показали полную совместимость продуктовых линеек компании при отсутствии какого-либо снижения эксплуатационных характеристик. Завершение совместных испытаний позволяет снизить риски клиентов по «лоскутному» импортозамещению и перейти целиком на импортозамещённый стек в части задач управления основными данными предприятия и руководства данными.

2020

Включение «Юнидаты» в "магический квадрант" Gartner третий год подряд

В начале декабря 2021 года авторитетное международное аналитическое агентство Gartner опубликовало Magic Quadrant for Master Data Management Solutions, исследование, посвященное обзору ведущих решений в области Master Data Management в мире. «Юнидата» вошла в список лучших игроков рынка управления данными уже третий год подряд! Подробнее здесь.

Расширение функциональности ETL для задач, связанных с получением данных из различных источников

18 мая 2020 года компания «Юнидата» объявила о том, что одноименная платформа получила значительное расширение функциональности ETL, позволяющей эффективно решать задачи, связанные с получением данных из различных источников. Речь идет о классической цепочке: загрузка данных, валидация (проверка), мэппиннг (определение соответствия), агрегация данных и выгрузка в целевую систему.

«Подобный подход позволяет создать единую экосистему для работы с данными наших заказчиков. Мы оформили наши наработки по этому направлению отдельным модулем. Сама функциональность была представлена достаточно давно, но в представленном расширении мы не только внесли ее в платформу, но и обогатили анализом и многими другими возможностями. В результате мы сконструировали бесшовную систему по работе с данными как на этапе их получения, так и на стадии их обработки. Все это позволяет нашим заказчикам работать в платформе как в Единой системе по управлению данными и пользоваться единым инструментарием для работы на всех стадиях. При этом, наибольший эффект достигается синергией при сочетании ETL с DG и MDM», отметил Сергей Кузнецов, генеральный директор компании

Со слов разработчика, в платформу была добавлена следующая функциональность ETL: импакт-анализ изменений (анализ последствий изменений данных), управление версиями моделей и ведение обширной библиотеки проверки данных.

Останавливаться на достигнутом разработчики не собираются: по данным на май 2020 года уже начаты работы над созданием потокового ETL c режимом Data Quality.

Редакции платформы «Юнидата»

По информации а январь 2020 года существует несколько редакций платформы «Юнидаты», включая защищенную, сертифицированную ФСТЭК и издание для обработки больших объемов данных (Юнидата High Performance Edition). Помимо того, существует продукт Data Governance (DG), основанный на платформе. Он представляет собой набор инструментов, который позволяет соединить и отследить все действия пользователей, связанные с данными через все уровни предприятий любого масштаба: от годовых отчетов руководства компании до колонки в таблице регионального подразделения.

Помимо этого, в рамках участия «Юнидаты» совместно с вузами России в формировании Сообщества специалистов в области управления данными, выпущена открытая редакция платформы – «Юнидата Community Edition (CE)».

2019

Совместимость с ОС «Альт 8 СП»

Группа компаний «ИВК» — российский производитель компьютерной техники, системообразующего ПО и средств защиты информации — 29 ноября 2019 года сообщила о том, что наращивает экосистему российского прикладного программного обеспечения, совместимого с операционной системой «Альт 8 СП». По результатам тестирования подтверждена полная совместимость с «ЮниДатой». Подробнее здесь.

Совместимость с Альт Сервер и Альт Рабочая станция

15 ноября 2019 года компания «Юнидата» сообщила, что совместно с «Базальт СПО» протестировали платформу управления данными «Юнидата» в операционных системах семейства «Альт».

Подтверждена полная совместимость и корректность работы серверной части платформы «Юнидата» на операционной системе Альт Сервер 8, а также веб-клиента платформы «Юнидата» на операционных системах Альт Рабочая станция 8 и Альт Рабочая станция К 8, что позволяет рекомендовать платформы с операционными системами семейства «Альт».

Юнидата. Поколение 5

Компания «Юнидата» представила в июне 2019 года Пятое поколение одноименной платформы управления данными. Взяв главный курс на повышение зрелости продукта и использование новых технологий, разработчик представил главное нововведение – качественный системный рост производительности на больших объемах данных. Данный релиз закладывает фундамент для линейки продуктов на основе платформы «Юнидата» в области Data Governance (Руководство данными как активом). Важнейшей новой функцией стало введение Data Lineage, специальных возможностей для исследования и документирования потоков данных в хранилище. Еще одно ключевое обновление – глобальная доработка классификаторов (Классификаторы 2.0). В частности, реализован функционал правил качества для атрибутов узла классификатора. Мы кардинально поменяли возможности по совместной работе - появились черновики и история изменений. На атрибутах классификатора появилась возможность создавать правила качества, по аналогии с записями данных и многое другое.

Мы абсолютно четко видим и осознанно формируем новую нишу Information Governance, которая сочетает в себе как Enterprise Data Management, так и традиционную известную нишу Collaboration Tools. – поясняет генеральный директор компании «Юнидата» Сергей Кузнецов. Отмечу, что мы вывели платформу на принципиально новый высочайший технический уровень! В течение этого года наших клиентов ожидает выход новых версий платформы, развивающих эту тематику и адаптирующих новые направления к реалиям отечественного рынка программных продуктов.

Существенные изменения коснулись и многих других частей платформы –существенно доработан механизм миграции с обязательным условием обратной совместимости версий (backward compatibility), в классификаторах введено копирование и перенос узлов, проверка изменений, способы кодификации узлов. Помимо этого, повышено удобство пользовательского интерфейса и обновлен сервис лицензирования.

2018: Обновление до версии 4.7

Компания «Юнидата», российский разработчик программного обеспечения, объявила в феврале 2018 года об обновлении платформы «Юнидата» до версии 4.7.

По словам разработчиков, обновление включает в себя ряд объемных изменений. Расширен функционал импорта данных. Загрузка данных теперь может производиться не только полным архивом, но и частично. Например, могут быть загружены только связи. Задача импорта теперь поддерживает два режима работы, один из которых оптимален для больших объемов данных (от 3-5 млн. записей), а второй — для средних объемов.

Изменились и алгоритмы работы с данными. Основная сущность платформы — модель данных — теперь редактируется в режиме черновика, что позволяет делать множество предварительных изменений в безопасном режиме, а потом публиковать их. При сравнении записей доступна информация о предыдущем значении атрибута, что упрощает решение конфликтов записей. Появилась возможность автоматически выявлять и объединять записи-дубликаты. Объединенные записи при необходимости можно разделить.

Возможности интеграции позволяют настраивать пользовательский интерфейс под нужды клиента и применять точки расширения к поисковым операциям и связям. Также расширена интеграция с внешними системами разграничения прав доступа, что позволяет использовать нестандартные способы авторизации, например, при помощи технологии единого входа.

Для удобства администрирования параметры конфигурации платформы стали доступны в приложении. Помимо прочего, множество исправлений были направлены на упрощение и оптимизацию взаимодействия пользователей с интерфейсом.

2017

Обновление до версии 4.7 High Performance Edition

Компания «Юнидата», российский разработчик программного обеспечения, объявила 15 декабря 2017 года о выпуске редакции одноименной платформы — «Юнидата» 4.7 HPE (High Performance Edition).

Данная редакция предназначена для построения систем управления данными крупных корпораций и предприятий с высокими требованиями как по объему данных (от 100 миллионов записей и выше), так и по скорости работы с ними. Представленная редакция платформы включает в себя дополнительные модули по мониторингу, производительности отдельных компонентов и самого решения целиком, скорости обработки данных в пакетных и онлайн-режимах. Добавлены модули по информированию администратора об отклонениях текущих метрик от целевых, специализированные модули пакетной обработки, предназначенные для больших объемов данных, а также детализированные инструкции по построению и обслуживанию высоконагруженных систем управления основными данными.

Во время начала разработки платформы «Юнидата», мы провели большой объем исследований современного в тот момент ландшафта MDM-решений и, самое главное, ожидаемых требований бизнеса в горизонте 2, 5 и 10 лет, — пояснил главный архитектор платформы Алексей Цырюльников. — Стало ясно, что существующие подходы себя исчерпывают, и будущее — за гибридными техниками — сочетанием зарекомендовавших себя современных технологий, таких как NoSQL, поисковые индексы, горизонтальное масштабирование stateless архитектуры, документ-ориентированные и графовые базы данных, in-memory вычисления и традиционные реляционные СУБД. Таким образом, нам нужно было нивелировать недостатки каждой из технологий достоинствами других подходов и технологий. Данный подход был широко использован при разработке платформы и всецело оправдал себя, что было наглядно продемонстрировано летом 2017 года на релизе 4.5, когда платформа успешно прошла испытания на 1 миллиарде записей.

С релизом 4.5 был наглядно продемонстрирован верный подход к поддержке высоконагруженных систем, — считает генеральный директор «Юнидаты» Сергей Кузнецов. — Но, как известно, достижение рекордных показателей не является достаточным условием и доказательством применимости для промышленного использования. И перед собой мы поставили задачу создания специальной редакции нашей платформы для построения высоконагруженных систем на её базе, имеющей ряд расширенных и более глубоких настроек, которые не нужны на небольших объемах данных до сотни миллионов записей.

Для этого специалисты компании проанализировали и разделили типовые задачи, возникающие при обслуживании платформы до 100 миллионов записей и от 100 миллионов. Были также выявлены типовые сценарии, возникающие при большом объеме исходных данных. Результатом стала специальная редакция и методология внедрения и эксплуатации платформы при больших объемах данных. Параллельно с выходом редакции Учебный центр компании запустил курс обучения «Платформа «Юнидата» в высоконагруженных проектах».

Потоковый и онлайн-режимы управления качеством данных

Компания «Юнидата», производитель одноименной платформы управления данными, 24 августа 2017 года сообщила о реализации в платформе функций единообразной фильтрации, очистки и нормализации данных, поступающих из разных источников, проверки данных на предмет их соответствия заданным критериям, обогащения данных из внутренних и внешних источников.

В частности, появилась возможность обрабатывать записи, получаемые через SOAP и REST-запросы от сторонних информационных систем с последующим применением правил качества данных и отправкой обработанных записей. При этом сами записи в платформе не сохраняются. Такие возможности позволяют сторонним информационным системам предприятия осуществлять проверку данных в режиме реального времени, проверять десятки миллионов записей в пакетном режиме по расписанию, отслеживать историю изменения качества записи во времени.

Кроме того, предусмотрены сразу два режима обработки — потоковый и онлайн. В потоковом режиме осуществляется единовременная обработка большого количества записей на запрос по проверке данных. Соответственно, результат обработки содержит исправленные записи и список ошибок (при их наличии). Одновременно происходит сохранение информации о найденных ошибках в базе данных платформы с возможностью последующего получения данной информации по идентификатору записи. В свою очередь, в онлайн-режиме происходит синхронный ответ на запрос по проверке одной записи. Результат обработки содержит исправленную запись и при их наличии — список ошибок.

Уверены, подобный подход будет широко востребован рынком, — считает генеральный директор «Юнидаты» Сергей Кузнецов. — Суть в следующем: в потоковом режиме осуществляется единовременная обработка большого количества записей. При этом, платформа «Юнидата» не загружает все входящие данные в свое хранилище, обрабатывая их «на лету». После обработки входных данных хранилище «Юнидата» содержит только статистику о том, какая запись не прошла те или иные проверки качества. Платформа хранит только первичные ключи обработанных данных и не хранит записи целиком.

Обновление до версии 4.5

В начале августа 2017 года платформа «Юнидата» обновилась до версии 4.5. При этом нововведения коснулись практически всех разделов системы, рассказали в компании «Юнидата».

Версию 4.5 отличает значительно переработанный с точки зрения повышения эффективности работы интерфейс оператора данных: цветовая схема и элементы интерфейса изменены для снижения утомляемости операторов, новая навигационная панель предоставляет возможности по настройке компактного режима представления. Экраны поиска и записи были упрощены, вспомогательные функции и операции перемещены в контекстные меню. Добавлено сохранение контекстов и состояний разделов, что позволяет оператору переходить между основными инструментами без потери введенных данных. Добавлены новые возможности по просмотру исходных записей, системной информации о записи.

Помимо этого, также расширены поисковые возможности оператора данных по нечеткому поиску записей, поиску по системным атрибутам и ошибкам правил качества, а инструмент «Главный экран» расширен статистикой качества данных в резервах критичности и категорий ошибок. Добавлена возможность просмотра статистических данных в прошедших периодах.

Реализованы инструменты по использованию инструментов обеспечения качества записей. Речь идет о режиме внешнего сервиса обеспечения качества. В данном режиме платформа позволяет применять правила качества к записям без их сохранения. Для этого представлены следующие API:

• онлайн-проверка: осуществление синхронного ответа на запрос по проверке одной записи;
• потоковая проверка: осуществление единовременной обработки большого количества записей на запрос по проверке данных. В данном режиме платформа сохраняет результаты проверки и позволяет получить их позже для каждой записи в отдельности.

Кроме того, с обновлением до версии 4.5 расширены возможности платформы по импорту данных из баз данных.

Миллиард записей

Компания «Юнидата», разработчик одноименной платформы управления данными, объявила в мае 2017 года о том, что в рамках выполненных работ по увеличению эффективности системы, платформа достигла производительности в один миллиард записей. «Юнидата» стала первой компанией в мире (по заявлению самой компании), способной работать с таким массивом данных в тематике нормативно-справочной информации.

При разработке во главу угла был поставлен принцип «миллиард за миллион»: речь идет о миллиарде записей на серверах стоимостью всего миллион рублей.

Этот результат стал нашим ответом на постоянно возрастающие потребностями наших клиентов. - комментирует достижение Генеральный директор «Юнидаты» Сергей Кузнецов. - Именно поэтому мы для себя решили, что именно один миллиард записей - это тот рубеж, к которому нужно стремиться. Столь серьезному успеху предшествовала долгая и планомерная работа, выполненная со всей тщательностью. Постепенно, включив эту планку в список основных задач, шаг за шагом двигались в этом направлении. Хочу поблагодарить наших разработчиков, которые провели серьезную работу над масштабированием платформы, что позволило говорить о том, что мы предоставляем нашим заказчикам ранее казавшийся невероятным миллиард записей.

Обновление до версии 4.4

3 апреля 2017 года платформа Юнидата получила очередное крупное обновление - версию 4.4. Нововведения коснулись всех разделов системы.

Для оператора данных расширены и упрощены механизмы поиска и обработки записей. Обновления позволяют искать данные по сложным запросам, используя гибкие условия поиска, а также удалять любое количество записей, используя новую пакетную операцию.

Для администратора данных упрощен инструмент загрузки и выгрузки структуры данных (метамодели). Инструмент предназначен для экспорта модели данных целиком (реестры, справочники, классификаторы, пользовательские настройки, правила качества данных и т.п.), а также частичного или полного импорта метамодели. Интерактивные подсказки администратору данных помогают сохранить связи в модели данных. В новой версии расширен список функций качества и реализована обработка дубликатов записей в справочниках.

Функции администрирования дают возможность управлять дополнительными свойствами групп пользователей, а также выполняют проверку разграничения прав доступа к данным с отображением подсказок администратору системы о согласованности предоставленных прав.

Расширены возможности пользовательских настроек, что позволяет добавлять новые кнопки и изменять внешний вид атрибутов в карточке записи, а также осуществлять поиск и модификацию записей по заданным настройкам.

Архитектура платформы

2021

Архитектура платформы управления данными, 2021

2017

Модули платформы

• Модуль – внешний компонент, динамически подключаемый к платформе, расширяющий стандартный функционал
• Пакет – тематический набор модулей, предназначенный для комплексного решения определенной технологической или бизнес задачи

• Контрагенты
• 1С:Предприятие
• Словарь данных
• ЕГРЮЛ/СПАРК/Картотека
• BPM Адаптеры
• Интегратор
• ГОС
• Социальные данные
• ГЕО

Стандартный цикл развития степени готовности организаций к Централизации управления данными

Основные функции платформы

• Централизованный сбор данных
• Поиск и объединение дубликатов
• Анализ данных и формирование статистики
• Нормализация, обогащение и проверка данных
• Отправка данных в сторонние информационные системы
• Управление данными на основании внутренних регламентов предприятия

Авторская методология внедрения платформы «Юнидата» основана на международ-ных стандартах DMBOK, полностью адаптирована под реалии российского рынка и насыщена набором отраслевых модулей. Единая дорожная карта развития продукта опи-рается на современные тренды развития отрасли в области управления данными (Data Governance), обеспечения качества данных (DQ) и работы с нормативно-справочной информацией (НСИ), а также на новые технологии и способы обработки больших массивов данных. В процессе разработки и тестирования ПО используются современные подходы, которые развиваются и совершенствуются каждый день.

Централизованный сбор данных

Прямое получение данных от внешних и внутренних информационных систем предприятия посредством использования обширной библиотеки готовых адаптеров, а также специализированных программных интерфейсов, позволяющих:

• Получать данные в виде структурированных файлов (CSV, Excel, XML, JSON).
• Осуществлять обмен данными с реляционными базами данных.
• Осуществлять обмен данными с NoSQL базами данных, включая распределенные источники, такие как Hive, HBase, и другие.

Косвенное получение данных через стандартные адаптеры к большинству современных инструментов класса ETL и программные интерфейсы, встраиваемые в корпоративную интеграционную шину предприятия. Возможность использовать произвольный транспорт данных.

Нормализация, обогащение и проверка данных

• Очистка данных, удаление шума, приведение к одному виду, множественная классификация
• Обогащение данных из внешних источников, таких как СПАРК, базы ФНС и прочие.
• консолидация данных различного происхождения.
• Проверка данных на полноту, целостность и непротиворечивость.
• Выяснение связей, в т.ч. по нечётким алгоритмам, сегментация данных.
• Публикация отчётов о качестве данных с привязкой к источнику.
• Создание заданий на ручную проверку, согласование и уточнение данных.

Поиск и объединение дубликатов

• Настройка правил поиска дубликатов на основе комбинаций точного и нечёткого поиска.
• Использование специализированных алгоритмов сравнения и поиска с привязкой к предметной области.
• Настройка правил автоматической обработки дубликатов.
• Создание заданий на ручную проверку и уточнение потенциально дублирующихся данных.
• Настройка поатрибутного слияния данных в автоматическом и ручном режимах.
• Автоматическое и ручное создание связей между похожими записями.

Управление данными на основании внутренних регламентов предприятия

• Настройка процессов согласования изменений на уровне операций и объектов в стандартной нотации BPMN.
• Управление состоянием записей в зависимости от роли и корпоративной иерархии.
• Использование электронной подписи для утверждения изменений.
• Получение автоматических уведомлениях о новых, активных и просроченных задачах, включая задачи своих подчинённых.
• Формирование регулярных отчётов о производительности различных категорий пользователей с возможностью распределения по типам данных.

Анализ данных и формирование статистики

• Полнотекстовый поиск по данным
• Поиск атрибутов по их значениям, включая поиск по фасетам и классификации.
• Композитный поиск по связям между объектами.
• Анализ происхождения и истории изменения данных.
• Выгрузка данных в Excel для их последующего анализа в ручном режиме.
• Формирование отчётов в формате PDF и XLS с возможностью их вывода на печать.

Отправка данных в сторонние информационные системы

• Автоматическая отправка данных в системы-источники и системы-потребители в синхронном и асинхронном режиме.
• Настройка уведомления о получении конкретных данных, данных из определённого источника, либо факте выполнения определённой операции над данными.
• Пакетная отправка данных по расписанию, по наступлению события, либо в режиме реального времени.
• Интеграция с корпоративным «транспортом данных».

297