Для Monopoly.Online перенесено «озеро данных» в Yandex Cloud с помощью BI.Qube

2023: Перенесение «озера данных» в Yandex Cloud с помощью BI.Qube

10 июля 2023 года стало известно о том, что цифровой платформы Monopoly.Online, предлагающей транспортные услуги и решения в сфере организации и управления логистическим бизнесом по формату FTL-перевозок, завершена миграция данных из 10 источников на облачную платформу Yandex Cloud. Проект был реализован с использованием BI.Qube. В результате проекта на Monopoly.Online организовано единое корпоративное хранилище данных и современные технологии для анализа бизнес-процессов, в том числе для сегментации клиентской базы с помощью технологий машинного обучения.

Как сообщалось, компания Монополия.Онлайн создала несколько сервисов, которые помогают транспортным компаниям искать и размещать грузы на платформе, автоматизировать работу автозаправочных станций, организовать грузоперевозки и оптимизировать работу дальнобойщиков. Все эти сервисы генерируют разнородные данные, которые обрабатываются и хранятся с помощью сервисов платформы данных Yandex Cloud.

Ключевой целью проекта было локализовать «озеро данных» компании. Кроме того, компания стремилась оптимизировать качество аналитики и отчетности, а также эффективность и безопасность обработки больших объемов транзакционных данных, связанных с логистической деятельностью.

Монополия.Онлайн выбрала платформу данных Yandex Cloud, которая предоставляет экосистему сервисов от сбора и хранения до анализа и визуализации данных. Сервисы функционируют на базе Open source и легко интегрируются друг с другом.

Платформа Yandex Cloud, на которую мигрировала Monopoly.Online, содержит компоненты Open source, предоставляемые в виде управляемых сервисов. Такой подход дает возможность быстро разворачивать и гибко конфигурировать инфраструктуру, управлять производительностью и стоимостью использования в соответствии с моделью учёта PAYG (оплата по мере использования).

Понравился инструментарий BI.Qube и экспертиза команды разработчиков, подход к выбору и внедрению архитектурного решения. Платформа данных Yandex Cloud позволяет быстро тестировать обновленной концепции и легко масштабировать полученные решения. Мы получили возможность развития с использованием сервисов машинного обучения Yandex Cloud. прокомментировал Дмитрий Власкин, руководитель направления аналитики данных Monopoly.Online

Проект миграции данных был выполнен за четыре месяца с использованием BI.Qube. BI.Qube включает в себя отраслевые модели, инструменты построения модели данных в концепции no-code/low-code и алгоритмы на платформе Yandex Cloud. Инструменты обеспечивают автоматическую миграцию на платформы и технологии open source с поддержкой высокоскоростного извлечения больших объемов данных из распределённых источников любых типов: SQL Server, PostgreSQL, MySQL, REST API, Excel, CSV, Google BigQuery, Kafka.

Мы рады, что наши продукты платформы BI.Qube помогли Monopoly.Online быстро организовать работу с данными на российском программном обеспечении. Это был интересный и непростой с технической точки зрения проект, который потребовал применения гибких подходов к разработке и нетривиальных решений. Мы имели дело с большим количеством разнородных источников, сложной логикой обработки данных и высокими требованиями к контролю их качества. Не скрою, что это был наш первый проект такого масштаба, и мы справились благодаря команде специалистов, обладающих межплатформенной экспертизой и опытом построения аналитических хранилищ в соответствии с современными методологиями Data Vault, DevOps и Agile. рассказал Дмитрий Поликовский, директор по развитию BI.Qube

Общий объем перенесенных в облако данных составил 4 ТБ, количество разнородных источников более 10, количество объектов с данными более 300. Проект был реализован в соответствии с методологией Agile и принципами DevOps, что обеспечило оптимальную скорость разработки и качество решения. На обновленный стек технологий перенесена вся основная загрузка и функциональность решения, также организован непрерывный поток для оперативной доставки актуальных данных в многочисленные витрины.

Транспортные и логистические компании обрабатывают в реальном времени большое количество данных из разрозненных сервисов – например, для поиска и размещения грузов, автоматизации работы АЗС и придорожных сервисов, отслеживания передвижения транспорта. Все эти системы генерируют данные, при работе с которыми при этом важно учитывать временные метки. Для того, чтобы эффективно работать с этой информацией и строить аналитику, хорошо подходят облачные технологии, одно из преимуществ которых – возможность быстрого масштабирования. Управляемые сервисы позволяют фокусироваться на работе с данными, а не на обслуживании инфраструктуры. Опыт проектов, подобных Monopoly.Online, может быть полезен для других представителей индустрии, которые изучают возможности для эффективной организации озера данных. сообщил Александр Черников, коммерческий директор Yandex Cloud