Проект

Зарубежнефть (ADS - Arenadata Streaming)

Заказчики: Зарубежнефть

Москва; Нефтяная промышленность

Подрядчики: Форсайт
Продукт: ADS - Arenadata Streaming
На базе: Apache Kafka
Второй продукт: ADB - Arenadata_DB

Дата проекта: 2021/02 — 2022/10
Технология: BI
подрядчики - 451
проекты - 3060
системы - 1149
вендоры - 559
Технология: СУБД
подрядчики - 272
проекты - 773
системы - 308
вендоры - 148

Содержание

2022:Создание корпоративной цифровой платформы управления данными

Цели

  • Реализация задач Стратегии цифровой трансформации в части создания механизмов управления данными и формирования цифровой экосистемы
  • Создание корпоративной цифровой платформы по управлению данными «NESTRO DATA» как централизованного источника «Единой версии правды» по всем основным аспектам деятельности Компании для повышения эффективности аналитической работы с данными и принятия управленческих решений.
  • Унификация, стандартизация и регламентация процессов сбора, обработки и анализа данных
  • Повышение скорости формирования и согласования отчетов, а также повышение качества данных и исключение риска потери/искажения информации в связи с отсутствием человеческого фактора
  • Получение дополнительной прибыли и сокращение издержек от централизованного управления и эффективного использования качественных данных

Сложность реализации

ИТ-инфраструктура «Зарубежнефти» имеет сильно разветвлённую сеть. Активы располагаются как на территории Российской Федерации, так и на территории зарубежных стран: Вьетнам, Египет, Куба, Индонезия, Узбекистан, Босния и Герцеговина. В каждом Активе используются свои производственные информационные системы. Все это накладывало дополнительные сложности по формированию рабочих групп, проведение обследования задействованных в проекте специализированных производственных систем, налаживание каналов связи, позволяющих бесперебойно пропускать требуемые объемы данных. Кроме того, проект NESTRO DATA стартовал в рамках ковидных, санкционных ограничений и учета политики импортозамещения. Потребовалось в оперативном режиме проводить дополнительный анализ доступного ПО и перестраивать процесс закупки необходимых инфраструктурных мощностей на ходу.

Таким образом, для реализации проекта NESTRO DATA выбрано программное обеспечение, входящее в реестр отечественного ПО. При этом отечественное ПО для управления данными не обладает гибкостью, присущей зарубежным аналогам, что также повлекло дополнительные трудозатраты на адаптацию решений под нужды проекта.

Описание проекта

В процессе реализации проекта созданы 5 компонент цифровой платформы по управлению данными «NESTRO DATA»:

  • КШД
  • КХД
  • Каталог и хранилище неструктурированных данных
  • Система бизнес-аналитики (BI)
  • Система визуализации геологической информации

Все компоненты платформы созданы исключительно с использованием программных продуктов, включенных в реестр отечественного ПО. Каждая из компонент платформы обеспечивает следующую функциональность:Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft

КШД:

  • Планирование заданий на загрузку и обработку данных из систем-источников
  • Управление методами и зависимостями исполнения заданий на загрузку и обработку данных
  • Автоматическая загрузка в платформу данных из систем-источников
  • Извлечение и преобразование данных. Управление процедурами расчета, трансформации данных внутри NESTRO DATA
  • Поддержание в актуальном состоянии данных в платформе за счет автоматического обновления из систем-источников на регулярной основе
  • Мониторинг и управление интеграционными процессами

КХД:

  • Единая точка доступа к данным из всех систем-источников
  • Унификация показателей с учетом стандартизации дополнительных аналитик
  • Исключение дублирования одних и тех же данных из разных систем-источников
  • Обогащение показателей одной информационной системы аналитиками из других систем
  • Ликвидация функциональных колодцев при поиске непрофильной информации

Каталог и хранилище неструктурированных данных:

  • Загрузка, извлечение и преобразование неструктурированных данных в файловое хранилище
  • Просмотр реестра документов в виде иерархии или таблицы с группировкой, сортировкой, фильтрами
  • Многовариантный поиск неструктурированных данных по метаданным
  • Гибкая настройка перечня метаданных в карточке объекта
  • Единый пользовательский интерфейс, обеспечивающий доступ ко всей проектной документации

Система бизнес-аналитики (BI):

  • Интерактивные дашборды с ключевыми показателями деятельности Компании для руководства
  • Доступ руководства к необходимым данным в любой момент времени без привлечения ответственных специалистов
  • Единая точка ввода и контроля данных, формирующихся вне систем-источников
  • Автоматизированный расчет новых показателей на основе загруженных данных
  • Автоматическое формирование форм регулярной отчетности и их обновление с заданной периодичностью
  • Оптимизация сроков согласования кросс-функциональных отчетов за счет реализации параллельных маршрутов и единого информационного пространство
  • Реализация сквозного процесса формирования и согласования отчетности дочерние общества - корпоративный центр.

Система визуализации геологической информации:

  • Сквозная навигация от данных по скважинам в Электронном каталоге к связанным объектам в системе Визуализации
  • Считывание неструктурированной информации и ее экспорт в структурированном виде с возможностью составления описания объектов, визуализации основных характеристик в табличном или графическом виде
  • Механизмы проверки полноты и качества загруженной в систему геолого-геофизической информации и любой проектной информации, а также данных интерпретационных проектов, включая контроль дублирования данных, правил именования объектов, граничных значений параметров и ошибок ручного ввода, проверка на соответствие справочникам
  • Настраиваемые средства контроля жизненного цикла проектов по геологическому изучению недр с созданием задач для исполнителя, его информированием о задачах и мониторингом исполнения

Реализован механизм загрузки, разбора и визуализации следующих объектов:

  • Готовые каротажные планшеты;
  • Финальные диаграммы конструкций скважин;
  • Дела скважин
  • LAS-файлы
  • 2д-сеток (грид файлов) карт и контуров
  • Реестр ГДМ