Распределенная база данных H3C DataEngine MPP

Расширенное хранилище столбцов и вычисления

В H3C DataEngine MPP каждый столбец данных хранится независимо друг от друга в непрерывном блоке хранения на жестком диске. Это принципиально отличается от традиционного последовательного хранения данных в строковом порядке в базе данных.

H3C DataEngine MPP также поддерживает технологию задержки декомпрессии. Оптимизатор и исполнительный движок H3C DataEngine MPP в полной мере использует технологию столбцовых вычислений для поддержки прямого доступа к закодированным значениям данных в условиях запроса и в связях без предварительного декодирования. Таким образом, H3C DataEngine MPP значительно экономит на CPU во время запроса данных и повышает общую производительность запроса.

Эффективное активное сжатие

H3C DataEngine MPP поддерживает более 12 алгоритмов сжатия, таких как: алгоритм длины хода (run length encoding), инкрементное кодирование (delta value encoding), сжатие целых чисел для данных целых чисел, кодирование блоков словарей для данных символов, кодирование Lempel - Ziv для других типов данных и т.д.

Коэффициент сжатия данных H3C DataEngine MPP обычно достигает 10: 1. С точки зрения экономии ресурсов I / O, для аналитических систем, где I / O является основным узким местом, активная технология сжатия H3C DataEngine MPP может привести к повышению производительности примерно на порядок по сравнению с традиционными линейными базами данных. Тем не менее, бизнес - данные в разных отраслях промышленности, их характеристики значительно различаются. Таким образом, степень сжатия H3C DataEngine MPP для различных типов данных также различна.

Уникальные и удобные без совместного использования крупномасштабные параллельные вычисления и масштабируемость

H3C DataEngine MPP поддерживает расширение онлайн - кластеров с одним щелчком мыши. Можно добавлять и удалять узлы одним нажатием клавиши и автоматически выполнять перераспределение данных, и процесс расширения не требует прерывания текущего бизнеса. Все узлы в кластере H3C DataEngine MPP полностью эквивалентны и не требуют основного узла, а загрузка данных, экспорт данных и запросы могут выполняться одновременно на всех узлах. Без совместного использования ресурсов дополнительные узлы могут линейно расширять пропускную способность данных и вычислительную мощность H3C DataEngine MPP, легко расширяясь и сокращаясь от нескольких узлов до тысяч узлов или от нескольких ТБ до 10 ПБ для удовлетворения потребностей роста бизнеса.

иерархическое хранение на основе операций

В эпоху больших данных данные генерируются все быстрее, в то время как соблюдение требований и глубокий анализ требуют хранения большего количества данных, что приводит к увеличению количества данных, хранящихся в базах данных. H3C DataEngine MPP может оптимизировать затраты на хранение, определяя различные стратегии хранения для различных объектов, таких как Schema, таблицы и разделы таблиц, и определяя различные места хранения (с использованием носителей с различной производительностью, стоимостью и емкостью). В то же время H3C DataEngine MPP также поддерживает резервное копирование некоторых таблиц и разделов таблиц в автономное хранилище, а также восстановление из автономного хранилища, что значительно ускоряет обмен данными между онлайн - хранилищем и автономным хранилищем и повышает эффективность использования и бизнес - ценность онлайн - устройств.

Встроенный автоматизированный дизайн

Дизайнер H3C DataEngine MPP не только обеспечивает общую оптимизацию баз данных или режимов, но и поддерживает инкрементную оптимизацию для определенных запросов. Кроме того, H3C DataEngine MPP предоставляет анализатор нагрузки для сбора данных о рабочей нагрузке базы данных и предоставляет рекомендации по автоматизации в любое время. Это значительно снижает затраты на управление DBA.

Система обеспечения стабильности

H3C DataEngine MPP обеспечивает высокую доступность, поддерживая несколько резервных копий данных. H3C DataEngine MPP гарантирует, что избыточные данные хранятся в хешировании на разных узлах, что позволяет встраивать интеллектуальные зеркала данных. H3C DataEngine MPP называет его K - коэффициентом надежности (K - safety), который относится к числу возможных неисправных узлов, которые H3C DataEngine MPP может терпеть.

Коэффициент надежности K - уровня гарантирует, что в случае сбоя в работе любого K - узла в кластере останется по крайней мере один полный массив данных в ответ на запросы обработки данных и запросов. Отказ узла прозрачен для приложений и не прерывает выполняемый бизнес. Изменяя количество копий избыточных данных, H3C DataEngine MPP обеспечивает удобство использования для удовлетворения потребностей различных приложений.

H3C DataEngine MPP поддерживает отказоустойчивые группы и восприятие стойки. Избыточность данных в H3C DataEngine MPP является квантово - отказоустойчивой группой, и когда узел отказоустойчивой группы (обычно один шкаф или даже область, состоящая из нескольких шкафов) терпит неудачу, это гарантирует, что данные по всей базе данных являются полными и эффективными, что эффективно предотвращает крупномасштабные аппаратные сбои, такие как отключение шкафа, которые могут повредить доступность всего кластера.

Машинное обучение в библиотеке

Традиционные системы анализа данных используют операционный процесс « Анализ / запрос на раскопки - предъявление данных - анализ / раскопка - демонстрация результатов». Появление больших данных делает сеть узким местом, а высокая задержка аналитических / раскопок становится невыносимой.

В H3C DataEngine MPP подчеркивается, что алгоритмы анализа / раскопок размещаются в базе данных, что позволяет алгоритмам тесно интегрироваться с данными и в полной мере использовать вычислительную мощность H3C DataEngine MPP в реальном времени, основанную на характеристиках столбцов и архитектуры MPP, для эффективного выполнения задач анализа / раскопок.

В дополнение к обычному статистическому анализу и линейному регрессионному анализу, H3C DataEngine MPP расширяется на основе SQL - 99, обеспечивая расширенные аналитические функции, основанные на временных рядах, анализе соответствия шаблонов и географическом анализе. Эти функции значительно сократят работу пользователей по разработке сложных аналитических данных и позволят им эффективно выполнять аналитические задачи в условиях больших объемов данных. В то же время H3C DataEngine MPP поддерживает структурированный и неструктурированный анализ слияния, что позволяет создавать эффективные решения для анализа слияния в сочетании с превосходными аналитическими возможностями H3C DataEngine MPP и Hadoop, соответственно.

Развитие и расширение потенциала

H3C DataEngine MPP обладает высокой совместимостью. Поддерживает стандарт SQL - 92 / SQL - 99 / SQL - 2003 и предлагает драйверы ODBC, JDBC, ADO.NET, которые легко интегрируются с существующими инструментами ETL (такими как Informatica, DataStage), инструментами отчетности (такими как BO, Cognos и т. Д.) и аналитическими инструментами (такими как SAS, SPASS и т. Д.) для защиты существующих инвестиций.

Сервер H3C DataEngine MPP использует X86 Linux Server и поддерживает основные серверы X86 и дистрибутивы Linux. H3C DataEngine MPP также предоставляет SDK для разработки пользовательских функций, которые позволяют пользователям использовать H3C DataEngine MPP в качестве платформы для вычислений больших данных и добавлять свои собственные уникальные алгоритмы анализа и обработки данных в качестве расширения в H3C DataEngine MPP на языке C + + / R / Java, чтобы в полной мере использовать MPP и столбцовые вычисления H3C DataEngine MPP, которые сразу же дают пользователям возможность эффективно анализировать и обрабатывать большие данные.

H3C DataEngine MPP поддерживает расширение онлайн - кластеров с одним щелчком мыши. Можно добавлять и удалять узлы одним нажатием клавиши и автоматически выполнять перераспределение данных, и процесс расширения не требует прерывания текущего бизнеса.

Безопасность базы данных

H3C DataEngine MPP обладает высокой степенью безопасности. H3C DataEngine MPP поддерживает несколько способов аутентификации. Доступ к H3C DataEngine MPP предоставляется только сертифицированным пользователям. В то же время, H3C DataEngine MPP предлагает широкий спектр ролей и механизмов авторизации, которые позволяют гибко контролировать доступ пользователей к данным. Поддержка нескольких арендаторов и песочниц для реализации модели управления базой данных с несколькими арендаторами. Многопользовательская модель может в полной мере использовать разницу во времени « пик - долина» потребления ресурсов различными арендаторами / приложениями для достижения совместного использования ресурсов.

Кроме того, H3C DataEngine MPP поддерживает функции резервного копирования и восстановления для некоторых объектов базы данных (например, Schema, таблицы), а также управление политикой резервного копирования по отдельности для каждого арендатора, чтобы каждый арендатор мог полностью управлять своим объектом данных в течение всего жизненного цикла. Некоторые функции резервного копирования и восстановления объектов в базе данных H3C DataEngine MPP поддерживают многоуровневое управление большими системами данных в зависимости от приложения и пользователя.

Оптимизация памяти столбцов и вычислений

В H3C DataEngine MPP каждый столбец данных хранится независимо друг от друга в непрерывном блоке хранения на жестком диске. Это принципиально отличается от традиционного последовательного хранения данных в строковом порядке в базе данных. H3C DataEngine MPP поддерживает технологию отложенной материализации. Для большинства аналитических запросов часто требуется только одно подмножество всех столбцов данных. Оптимизаторы столбцов H3C DataEngine MPP и исполнительные двигатели могут пропускать несвязанные столбцы в памяти столбцов, что позволяет экономить значительные ресурсы ввода / вывода.

Активное сжатие

В отличие от других баз данных, которые, как утверждается, поддерживают хранение столбцов, хранятся в обратном порядке вставки данных, H3C DataEngine MPP автоматически выбирает подходящий способ сортировки и алгоритм сжатия в зависимости от типа данных, базы данных и характеристик запроса для каждого столбца, чтобы свести к минимуму пространство для хранения данных, сократить потребление ввода / вывода запроса и повысить производительность запроса. H3C DataEngine MPP поддерживает более 12 алгоритмов сжатия.

Нет общих крупномасштабных параллельных вычислений и масштабируемости

Все узлы в кластере H3C DataEngine MPP полностью эквивалентны и не требуют основного узла, а загрузка данных, экспорт данных и запросы могут выполняться одновременно на всех узлах. Без совместного использования ресурсов дополнительные узлы могут линейно расширять пропускную способность данных и вычислительную мощность H3C DataEngine MPP, легко расширяясь и сокращаясь от нескольких узлов до тысяч узлов или от нескольких ТБ до 10 ПБ для удовлетворения потребностей роста бизнеса.

иерархическое хранение

В эпоху больших данных данные генерируются все быстрее, в то время как соблюдение требований и глубокий анализ требуют хранения большего количества данных, что приводит к увеличению количества данных, хранящихся в базах данных. Аналитическая производительность, высокая стоимость высокоскоростных дисков и большие требования к объему данных часто противоречат друг другу. Классификация памяти H3C DataEngine MPP может эффективно разрешить это противоречие. H3C DataEngine MPP может оптимизировать затраты на хранение, определяя различные стратегии хранения для различных объектов, таких как Schema, таблицы и разделы таблиц, и определяя различные места хранения (с использованием носителей с различной производительностью, стоимостью и емкостью).

Автооптимизация дизайна

В H3C DataEngine MPP встроен оптимизатор баз данных, содержащий экспертные знания. Пользователю просто нужно указать логический режим (Schema), загрузить данные образца и предоставить типичный SQL - оператор запроса, а дизайнер оптимизации базы данных H3C DataEngine MPP автоматически проектирует горизонтальное распределение данных, порядок сортировки каждого столбца и алгоритм сжатия на основе экспертных знаний, чтобы сбалансировать производительность запроса и требования к размеру хранилища для оптимизации всей базы данных.

Платформа облачного анализа

H3C DataEngine MPP поддерживает разделение вычислительных и запоминающих ресурсов как в публичном, так и в частном облаке, в сочетании с высокой производительностью и быстрым расширением общего хранилища без совместного MPP, основная копия данных находится в общем хранилище, которое легко масштабируется, а тепловые данные расположены в вычислительном ресурсе, чтобы обеспечить высокую производительность, избегая чрезмерного количества узлов кластера при потере ресурсов в сценариях с высокой параллельной нагрузкой и обеспечивая гибкое расширение пропускной способности.

Без общей архитектуры MPP: H3C DataEngine MPP использует сотни узлов для параллельных вычислений, которые являются ключом к архитектуре, поддерживающей анализ больших данных для получения достаточного количества вычислительных и запоминающих ресурсов. Архитектура MPP без общего доступа не требует совместного хранения или даже специального основного (первого) узла, чтобы она могла быть расширена до сотен узлов для поддержки анализа больших данных.

Встроенная поддержка Высокая доступность: H3C DataEngine MPP имеет встроенную высокую доступность и обеспечивает прозрачность для приложений в случае сбоя узла в пределах проектной доступности без прерывания выполняемого бизнеса. Дополнительные функции резервного копирования и восстановления H3C DataEngine MPP, резервного копирования и восстановления некоторых объектов в базе данных гарантируют быстрое восстановление доступности приложений в случае катастрофы.

Оптимизированная база данных столбцов: ключ к производительности анализа больших данных устраняет узкое место в затратах I / O. В сочетании с H3C DataEngine MPP - хранилищем и вычислениями (столбцовым движком), обеспечивающим полную функциональность, включая добавление, удаление и модификацию, является ключом к поддержке высокопроизводительных аналитических и импровизированных запросов в условиях больших данных.

Идеальная платформа для анализа больших данных в реальном времени: H3C DataEngine MPP использует высокопроизводительные технологии хранения столбцов и вычислений, поддерживает активное сжатие данных, расширенный анализ, имеет расширенные возможности, такие как гибкое расширение и настраиваемое внешнее расширение, и является идеальной платформой для поддержки анализа больших данных в реальном времени.