Oracle Big Data Appliance

Oracle официально представила систему Big Data Appliance в ходе конференции OpenWorld в Сан-Франциско. Это комплексное решение, которое пополнит новейшую линейку корпорации, созданную на стыке программных продуктов Oracle и серверных платформ, которые достались ей после покупки Sun.

В Big Data Appliance включен программный фреймворк с открытым кодом Hadoop, Oracle Data Integrator Application (адаптированное под Hadoop), Oracle Loader для Hadoop, дистрибутив также открытой аналитической статистической системы и база данных Oracle NoSQL.

Вице-президент корпорации по серверным технологиям и базам данных Энди Мендельсон так прокомментировал запуск продукта: «Сегодня существует множество данных. Большинство из них имеют небольшую значимость для бизнеса. Существуют крупицы информации, которые людям действительно нужно найти. Hadoop и другие инструменты дистиллируют эти данные в поисках значимых сведений. Решение может быть использовано вместе с хранилизами данных, такими как Exedata, для дальнейшего анализа», - отметил он.

Согласно официальному заявлению, Oracle планирует предоставлять все продукты, вошедшие в комплект Big Data Appliance, отдельно и в том числе без «железной» платформы. Точная цена решения и дата поступления его в продажу пока не названы. Отметим, что у Big Data Appliance уже есть конкурирующие продукты от других вендоров - Aster Data, Netezza и Greenplum.

На конференции OpenWorld Oracle сделала уже целый ряд важных анонсов. Так, днем ранее было представлено новое решение – Exalytics Intelligence Machine. Это in-memory база данных, созданная специально как ответ in-memory платформе SAP HANA.

Машина Exalytics состоит из 40 процессорных ядер и имеет 1Тб DRAM, при это она имеет возможность за счет специальных технологий сжатия работать с объемами данных в 5-10 Тб. Новая система работает на стеке ПО от Oracle, в который входят in-memory база данных TimesTen, BI инструменты и сервер Essbase OLAP (online analytical processing).Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft

Все эти новую решения дополнят Exadata. Аналитик Forrester Джеймс Кобеилус (James Kobielus) отметил, что когда речь заходит об обработке больших объемов данных, важны прежде всего мощность решения, скорость обработки информации и разнообразие структур данных. «У Exadata все это есть. Решение оптимизировано для смешанных рабочих нагрузок и массовой параллельной работы и имеет богатую библиотеку алгоритмов и моделей анализа», - отметил он.

В январе 2012 года корпорация Oracle объявила о поступлении в продажу Oracle Big Data Appliance, оптимизированного программно-аппаратного комплекса, призванного помочь заказчикам в получении максимальных преимуществ от использования «больших данных» (Big Data) для бизнеса

Oracle Big Data Appliance представляет собой оптимизированный комплекс, объединяющий аппаратное и программные продукты, включаяCloudera’s Distribution с Apache Hadoop и Cloudera Manager, а также дистрибутив среды программирования R с открытым исходным кодом.

Комплекс Oracle Big Data Appliance, работающий под управлением операционной системы Oracle Linux, также включает СУБД Oracle NoSQL Database Community Edition и Oracle HotSpot Java Virtual Machine.

Oracle также сообщила о начале продаж программного продукта Oracle Big Data Connectors, который помогает заказчикам с легкостью интегрировать данные, сохраненные в Hadoop и Oracle NoSQL Database, с Oracle Database 11g.

Oracle Big Data Appliance с пакетом программного обеспечения Oracle Big Data Connectors, в сочетании с оптимизированными программно-аппаратными комплексами Oracle Exadata Database Machine, Oracle Exalogic Elastic Cloud, и Oracle Exalytics In-Memory Machine, предоставляет заказчикам все необходимое для получения, систематизации и анализа «больших данных» в рамках всего корпоративного информационного массива.

Соответствие требованиям по управлению «большими данными»

Комплекс Oracle Big Data Appliance, предназначенный для упрощения управления и использования «больших данных», поставляется в полной стоечной (full rack) конфигурации из 18-ти серверов и содержит в общей сложности:

• 864 ГБ оперативной памяти;
• 216 процессорных ядер;
• 648 ТБ «сырой» дисковой памяти;
• Сетевую инфраструктуру InfiniBand с пропускной способностью 40 Гбит/с между узлами комплекса и другими оптимизированными программно-аппаратными комплексами Oracle; и
• Интерфейсы Ethernet с пропускной способностью 10 Гбит/с для подключения ко всем остальным компонентам центра обработки данных.

Новый оптимизированный программно-аппаратный комплекс может масштабироваться с помощью соединения нескольких стоек в единый кластер через сетевой интерфейс InfiniBand, что позволяет получать, систематизировать и анализировать сверхбольшие объемы данных.

«Oracle Big Data Appliance в сочетании с Oracle Exadata, Oracle Exalytics и Oracle Exalogic Elastic Cloud предлагает самый обширный и интегрированный портфель продуктов, который призван помочь заказчикам в получении и систематизации различных типов данных, а также при анализе этих и других имеющихся корпоративных данных, что позволяет извлекать новые важные знания и быть максимально информированным при принятии решений », – отметил Цетин Озбутун (Cetin Ozbutun), вице-президент Oracle по направлению Data Warehousing Technologies.

В состав Oracle Big Data Appliance входит продукт Cloudera's Distribution, включающий Apache Hadoop (CDH) – наиболее полный, проверенный, устойчивый и широко используемый в коммерческих и некоммерческих средах дистрибутив Hadoop Oracle Big Data Appliance также включает Cloudera Manager, первое в отрасли приложение для комплексного (end-to-end) управления Apache Hadoop.

Выпущенная ранее Oracle NoSQL Database представляет собой распределенную СУБД типа «ключ/значение» (key-value), предназначенную для управления большими объемами данных. Oracle NoSQL Database горизонтально масштабируется до сотен узлов, обеспечивает высокую доступность данных, предсказуемые уровни пропускной способности и времени ожидания, требуя при этом минимального администрирования. Комплекс Oracle Big Data Appliance может работать с СУБД Oracle NoSQL Database в редакциях Community Edition и Enterprise Edition.

Комплекс Oracle Big Data Appliance специально спроектирован, чтобы помочь заказчикам:

• Быстро запустить масштабируемую систему высокой доступности для управления большими массивами данных;
• Создать высокопроизводительную платформу для систематизации, обработки и анализа «больших данных» в среде Hadoop, а также для использования статистических приложений на языке R с источниками первичных данных; и
• Контролировать ИТ-затраты благодаря предварительной интеграции всех аппаратных и программных компонентов в единое решение для «больших данных», которое дополняет корпоративные хранилища данных.

Оптимизация интеграции «больших данных» с корпоративными хранилищами данных

Пакет программного обеспечения Oracle Big Data Connectors поставляется для использования как с комплексом Oracle Big Data Appliance, так и с другими системами на базе Apache Hadoop. Комплект поставки включает:

• Загрузчик Oracle Loader for Hadoop – использует механизм MapReduce для эффективной загрузки данных в СУБД Oracle Database 11g;
• Адаптер Oracle Data Integrator Application Adapter for Hadoop – позволяет Oracle Data Integrator генерировать программы Hadoop MapReduce через простой в использовании графический интерфейс;
• Модуль сопряжения Oracle Connector R – обеспечивает пользователям приложений R быстрый и эффективный доступ к распределенной файловой системе Hadoop Distributed File System (HDFS) и базовой платформе программирования MapReduce; и
• Модуль сопряжения Oracle Direct Connector for Hadoop Distributed File System (ODCH) – обеспечивает Oracle Database беспроблемный доступ к данным из файловой системы Hadoop Distributed File System через SQL.

Oracle Big Data Connectors и СУБД Oracle NoSQL Database могут поставляться как отдельные программные продукты, независимо от оптимизированного программно-аппаратного комплекса Oracle Big Data Appliance.

Oracle Big Data Appliance X3-2

Oracle Big Data Appliance X3-2 — это экономически эффективный оптимизированный программно-аппаратный комплекс, который прошел модернизацию и оснащен новейшими процессорами Intel, новой версией дистрибутива Cloudera Distribution of Apache Hadoop (CDH) и Cloudera Manager, а также новым подключаемым модулем Oracle Enterprise Manager for Big Data Appliance.

В Oracle Big Data Connectors усовершенствованы возможности доступа к Hadoop: SQL-доступ из баз данных Oracle стал лучше, а доступ из приложений, написанных на языке R, — прозрачнее.

Oracle Big Data Appliance с программными продуктами Oracle Big Data Connectors, в сочетании с Oracle Exadata Database Machine и Oracle Exalytics, предоставляет заказчикам полный набор оптимизированных программно-аппаратных комплексов для получения, систематизации и анализа «больших данных». Новые версии повышают производительность обработки данных, расширяют объем памяти, улучшают интеграцию и возможности управления.

Аппаратная часть Oracle Big Data Appliance X3-2 содержит 8-ядерные процессоры Intel Xeon серии E5-2600. По сравнению с предыдущей конфигурацией из 18 серверов с объемом «сырой» дисковой памяти 648 Тб новая версия предлагает:

• на 33% больше вычислительной мощности благодаря 288 процессорным ядрам;
• на 33% больше оперативной памяти в расчете на узел при общем объеме оперативной памяти в 1,1 Тб;
• до 30%.экономии на питании и охлаждении оборудования.

Oracle Big Data Appliance X3-2 упрощает внедрение и управление решениями для «больших данных» благодаря интеграции всех аппаратных и программных компонентов, необходимых для сбора, систематизации и анализа «больших данных». Oracle Big Data Appliance X3-2 включает:

• поддержку CDH4.1, в том числе обновление программного обеспечения, разработанного совместно с компанией Cloudera, для реализации высокой доступности NameNode в среде Hadoop. Это позволяет устранить в кластерных конфигурациях Hadoop уязвимые элементы, отказ которых приводит к отказу всей системы;
• новую версию Oracle NoSQL Database Community Edition 2.0, которая обеспечивает улучшенную интеграцию с Hadoop и гибкое масштабирование, а также содержит новые интерфейсы для программирования, включая поддержку JSON и C;
• подключаемый модуль Oracle Enterprise Manager for Big Data Appliance, который дополняет возможности Cloudera Manager, облегчая управление кластером Hadoop;
• обновленные дистрибутивы Oracle Linux и Oracle Java Development Kit;
• обновленный дистрибутив R с открытым исходным кодом, оптимизированный для работы с высокопроизводительными многопотоковыми библиотеками математических функций.

Oracle Big Data Connectors — это набор программных продуктов, созданный Oracle для интеграции Apache Hadoop с СУБД Oracle, Oracle Data Integrator и дистрибутивом Oracle R Distribution.

Усовершенствования Oracle Big Data Connectors расширяют возможности интеграции «больших данных». Новая версия Oracle Big Data Connectors в дополение к обновлениям всех модулей предлагает:

• модуль сопряжения Oracle SQL Connector for Hadoop Distributed File System для повышения производительности SQL-запросов к данным, сохраненным в Hadoop, из баз данных Oracle. Рост производительности достигнут за счет дополнительной автоматизации и улучшения функционала запросов. Новый модуль также поддерживается в Oracle Data Integrator Application Adapter for Hadoop;
• прозрачный доступ к языку запросов Hive Query из приложений R и реализацию новых аналитических методик, выполняемых в Hadoop, что повышает эффективность разработчиков приложений на языке R благодаря улучшению доступа к Hadoop из среды R.

2013: Защита основания распределенной обработки

На конференции Oracle OpenWorld 22-26 сентября 2013 года корпорация сообщила об усовершенствованиях в системах обработки Больших Данных. В частности, программно-аппаратный комплекс Big Data Appliance теперь обеспечивает «защиту корпоративного класса» системы распределенной обработки данных Hadoop.

Big Data Appliance поддерживает аутентификацию по протоколам Kerberos и LDAP, интегрирован с защитной системой Oracle Audit Vault and Database Firewall. Система ведет мониторинг журналов регистрации событий Hadoop и генерирует предупреждение администраторам.

Новый программный модуль Perfect Balance для Big Data Appliance выполняет балансировку нагрузки, ускоряя выполнение задач MapReduce. Для Hadoop в Oracle разработали коннектор, обеспечивающий возможность опроса и преобразования XML-документов с помощью языка XQuery.

Oracle Big Data Appliance X4-2

14 ноября 2013 года корпорация Oracle объявила о начале продаж программно-аппаратного комплекса Oracle Big Data Appliance X4-2, в составе которого полный технологический стек Cloudera Enterprise, реализована поддержка дисковой емкости на 33% больше - в сумме 864 ТБ на одну аппаратную стойку.

Описание

Oracle Big Data Appliance X4-2 представляет собой комплексную платформу для работы с «Большими данными», оптимизированную как для пакетной, так и для обработки данных в режиме реального времени. Платформа использует программное обеспечение Cloudera Distribution for Apache Hadoop, Oracle NoSQL Database, Cloudera Impala и Cloudera Search чтобы обеспечить соответствие требованиям к вычислительным ресурсам.

Предприятия получат больше ресурсов для хранения данных, используя Oracle Big Data Appliance X4-2, что поможет им формировать экономически более выгодную платформу для работы с "Большими данными", тем самым помогая в создании новых преимуществ для бизнеса.