Заказчики: Зарубежнефть Москва; Нефтяная промышленность Подрядчики: Форсайт Продукт: ADS - Arenadata StreamingНа базе: Apache Kafka Второй продукт: ADB - Arenadata_DB Третий продукт: Форсайт. Аналитическая платформа (ранее Prognoz Platform) Дата проекта: 2021/02 — 2022/10
|
Содержание |
2022:Создание корпоративной цифровой платформы управления данными
Цели
- Реализация задач Стратегии цифровой трансформации в части создания механизмов управления данными и формирования цифровой экосистемы
- Создание корпоративной цифровой платформы по управлению данными «NESTRO DATA» как централизованного источника «Единой версии правды» по всем основным аспектам деятельности Компании для повышения эффективности аналитической работы с данными и принятия управленческих решений.
- Унификация, стандартизация и регламентация процессов сбора, обработки и анализа данных
- Повышение скорости формирования и согласования отчетов, а также повышение качества данных и исключение риска потери/искажения информации в связи с отсутствием человеческого фактора
- Получение дополнительной прибыли и сокращение издержек от централизованного управления и эффективного использования качественных данных
Сложность реализации
ИТ-инфраструктура «Зарубежнефти» имеет сильно разветвлённую сеть. Активы располагаются как на территории Российской Федерации, так и на территории зарубежных стран: Вьетнам, Египет, Куба, Индонезия, Узбекистан, Босния и Герцеговина. В каждом Активе используются свои производственные информационные системы. Все это накладывало дополнительные сложности по формированию рабочих групп, проведение обследования задействованных в проекте специализированных производственных систем, налаживание каналов связи, позволяющих бесперебойно пропускать требуемые объемы данных. Кроме того, проект NESTRO DATA стартовал в рамках ковидных, санкционных ограничений и учета политики импортозамещения. Потребовалось в оперативном режиме проводить дополнительный анализ доступного ПО и перестраивать процесс закупки необходимых инфраструктурных мощностей на ходу.
Таким образом, для реализации проекта NESTRO DATA выбрано программное обеспечение, входящее в реестр отечественного ПО. При этом отечественное ПО для управления данными не обладает гибкостью, присущей зарубежным аналогам, что также повлекло дополнительные трудозатраты на адаптацию решений под нужды проекта.
Описание проекта
В процессе реализации проекта созданы 5 компонент цифровой платформы по управлению данными «NESTRO DATA»:
- КШД
- КХД
- Каталог и хранилище неструктурированных данных
- Система бизнес-аналитики (BI)
- Система визуализации геологической информации
Все компоненты платформы созданы исключительно с использованием программных продуктов, включенных в реестр отечественного ПО. Каждая из компонент платформы обеспечивает следующую функциональность:Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft
КШД:
- Планирование заданий на загрузку и обработку данных из систем-источников
- Управление методами и зависимостями исполнения заданий на загрузку и обработку данных
- Автоматическая загрузка в платформу данных из систем-источников
- Извлечение и преобразование данных. Управление процедурами расчета, трансформации данных внутри NESTRO DATA
- Поддержание в актуальном состоянии данных в платформе за счет автоматического обновления из систем-источников на регулярной основе
- Мониторинг и управление интеграционными процессами
КХД:
- Единая точка доступа к данным из всех систем-источников
- Унификация показателей с учетом стандартизации дополнительных аналитик
- Исключение дублирования одних и тех же данных из разных систем-источников
- Обогащение показателей одной информационной системы аналитиками из других систем
- Ликвидация функциональных колодцев при поиске непрофильной информации
Каталог и хранилище неструктурированных данных:
- Загрузка, извлечение и преобразование неструктурированных данных в файловое хранилище
- Просмотр реестра документов в виде иерархии или таблицы с группировкой, сортировкой, фильтрами
- Многовариантный поиск неструктурированных данных по метаданным
- Гибкая настройка перечня метаданных в карточке объекта
- Единый пользовательский интерфейс, обеспечивающий доступ ко всей проектной документации
Система бизнес-аналитики (BI):
- Интерактивные дашборды с ключевыми показателями деятельности Компании для руководства
- Доступ руководства к необходимым данным в любой момент времени без привлечения ответственных специалистов
- Единая точка ввода и контроля данных, формирующихся вне систем-источников
- Автоматизированный расчет новых показателей на основе загруженных данных
- Автоматическое формирование форм регулярной отчетности и их обновление с заданной периодичностью
- Оптимизация сроков согласования кросс-функциональных отчетов за счет реализации параллельных маршрутов и единого информационного пространство
- Реализация сквозного процесса формирования и согласования отчетности дочерние общества - корпоративный центр.
Система визуализации геологической информации:
- Сквозная навигация от данных по скважинам в Электронном каталоге к связанным объектам в системе Визуализации
- Считывание неструктурированной информации и ее экспорт в структурированном виде с возможностью составления описания объектов, визуализации основных характеристик в табличном или графическом виде
- Механизмы проверки полноты и качества загруженной в систему геолого-геофизической информации и любой проектной информации, а также данных интерпретационных проектов, включая контроль дублирования данных, правил именования объектов, граничных значений параметров и ошибок ручного ввода, проверка на соответствие справочникам
- Настраиваемые средства контроля жизненного цикла проектов по геологическому изучению недр с созданием задач для исполнителя, его информированием о задачах и мониторингом исполнения
Реализован механизм загрузки, разбора и визуализации следующих объектов:
- Готовые каротажные планшеты;
- Финальные диаграммы конструкций скважин;
- Дела скважин
- LAS-файлы
- 2д-сеток (грид файлов) карт и контуров
- Реестр ГДМ