Распределенная база данных H3C SeasQL MPP

Чтобы помочь клиентам из всех слоев общества справиться с вызовами, связанными с эпохой больших данных, H3C создала высокопроизводительную платформу для обработки больших данных, которая использует вычислительную структуру, объединяющую распределенные базы данных Hadoop и MPP, чтобы предоставить пользователям полный спектр решений для платформы больших данных, включая полный спектр функций, таких как преобразование сбора и обработки данных, вычисления для хранения, аналитические раскопки, обмен и обмен данными, демонстрация BI и управление эксплуатацией и обслуживанием, чтобы помочь пользователям создать систему обработки больших объемов данных, выявить внутреннюю ценность данных и получить доступ к новым рыночным возможностям.

MPP SeasQL поддерживает развертывание локальных физических машин, а также в частных облаках, где источником данных может быть локальное хранение, HDFS、 Облачные хранилища или другие реляционные базы данных, такие как Oracle, MySQL и т. д., интегрируются в базу MPP SeasQL с помощью инструментов ETL или Kafka. Распределенная база данных SeasQL MPP, основанная на крупномасштабной параллельной архитектуре без совместного использования, с возможностями обработки данных на уровне PB, ядро, основанное на ядре PostgreSQL, имеет большую оптимизацию, обеспечивает мощный оптимизатор запросов и совершенную совместимость с SQL. На интерфейсном уровне MPP SeasQL предоставляет интерфейсы Python / R / Java / Perl / C в дополнение к стандартным интерфейсам JDBC / ODBC, а также интерфейсы MadLib, полнотекстового поиска и PostGIS для библиотек машинного обучения, которые обеспечивают доступ к уровням.

MPP SeasQL - это распределенная архитектура с высокой способностью к горизонтальному масштабированию, которая позволяет соединять тысячи узлов и поддерживать тысячи CPU. Его мощные возможности обработки данных и вычислений применимы к следующим сценариям:

• Применяется для аналитических приложений, таких как создание ODS / EDW корпоративного уровня, рынков данных и т.д.

• Подходит для приложений, требующих обработки больших объемов данных, таких как хранилища данных, коммерческий интеллект и т.д.

• Анализ и анализ данных для оффлайн - данных, таких как поведенческий анализ клиентов, портреты людей, моделирование поведенческих прогнозов и т.д.

H3C SeasQL MPP - это распределенная база данных на основе PostgreSQL с архитектурой Shared - Nothing, хостом, операционной системой, памятью и хранилищем, которые являются самоуправляемыми и не имеют общего доступа. Основные характеристики базы данных H3C SeasQL MPP заключаются в следующем:

Крупномасштабная архитектура параллельной обработки.

· Поддержка как строкового, так и столбцового хранения. Каждая таблица или раздел таблицы может быть указана администратором отдельно для хранения и сжатия в соответствии с потребностями приложения.

· Поддержка нескольких методов сжатия, включая Zlib, RLE и другие.

· Поддержка многоступенчатых таблиц разделов, разделы поддерживают несколько режимов, включая диапазоны, списки и так далее.

• Поддержка индексов, таких как B - дерево, битовые диаграммы и GIST.

• Механизмы сертификации поддерживают несколько способов, включая LDAP и Kerberos.

· Поддержка расширенного языка: MPP SeasQL поддерживает реализацию пользовательских функций на нескольких популярных языках, включая Python, R, Java, Perl, C / C + + и многое другое.

• Обработка географической информации: благодаря интеграции PostGIS MPP SeasQL поддерживает хранение и анализ географической информации.

• Встроенная библиотека алгоритмов интеллектуального анализа данных: с помощью библиотеки алгоритмов MADlib (в настоящее время проект инкубации Apache) можно встроить десятки общих алгоритмов анализа данных и раскопок в базу данных MPP SeasQL, включая логическую регрессию, дерево решений, случайные леса и т. Д. Нет необходимости писать какой - либо алгоритмический код, и все алгоритмы могут быть использованы через SQL.

Текстовый поиск: MPP SeasQL поддерживает высокоэффективные, гибкие и разнообразные функции полнотекстового поиска. В сочетании с MADlib можно проводить параллельный анализ текста и раскопки.

• Высокопроизводительная загрузка, обеспечивающая производительность загрузки объема данных на уровне Petabyte с использованием технологии MPP.

• Оптимизация запросов для рабочих процессов больших данных.

• Многомодальное хранение и выполнение данных.

Расширенные возможности машинного обучения на базе Apache MADlib.

Поддерживает стандарты SQL 92 ANSI / ISO, SQL 99 ANSI / ISO, SQL 2003 ANSI / ISO, SQL 2006 ANSI / ISO, поддерживает международные интерфейсные спецификации, такие как C API, ODBC, JDBC, поддерживает DDL, DML, синтаксис DCL, поддерживает базовые типы данных, основные ограничения целостности, базовое управление таблицами, условия поиска, подключение к таблицам, подсистемы, вставка, изменение, удаление, управление транзакциями.

Облачное развертывание

MPP SeasQL поддерживает развертывание облачной платформы CloudOS5.0 и поддерживает облачное развертывание. Пользователи могут единообразно управлять всеми ресурсами и единообразно управлять планированием через интерфейс CloudOS, гибко управлять выделенными ресурсами и повышать общий коэффициент использования ресурсов.

Непрерывное расширение

База данных SeasQL MPP может быть расширена двумя способами в соответствии с потребностями клиента: расширением хоста и расширением экземпляров. В процессе расширения требуется только обновление метаданных системной таблицы, то есть расширение, без остановки базы данных, расширение базы данных с использованием алгоритма Jump Consistent Hash значительно сокращает перемещение данных в процессе перераспределения данных.

Смешанное хранение рядов

База данных SeasQL MPP предлагает несколько типов моделей хранения данных: линейное хранилище, репозиторий, комбинированное хранилище рядов, которое позволяет разрабатывать модели хранения данных в соответствии с потребностями бизнеса.

Функция OLAP

MPP SeasQL предлагает широкий спектр OLAP - функций, включая: Rollup, cube, оконные функции, рекурсивные операции и т. Д. Для поддержки сложных аналитических операций с акцентом на поддержку принятия решений для лиц, принимающих решения, и старших руководителей. В соответствии с требованиями аналитиков можно быстро и гибко выполнять сложные запросы с большими объемами данных, чтобы они могли точно понять состояние бизнеса, понять потребности клиентов и разработать правильный план.

Многочисленные арендаторы

Многопользовательские возможности базы данных SeasQL MPP позволяют разделить одну базу данных на несколько арендаторов, физические ресурсы которых изолированы друг от друга, а многопользовательские возможности в основном отражают следующие преимущества:

Потребности различных арендаторов в физических ресурсах различны, ресурсы изолированы друг от друга и не мешают некоторым арендаторам захватывать ресурсы других пользователей на пике бизнеса.

Данные между арендаторами изолированы друг от друга, что повышает безопасность данных.

Когда системные ресурсы свободны, CPU и ресурсы памяти могут быть гибко использованы, а когда ресурсы более загружены, ресурсы между арендаторами ограничены параметрами времени настройки, чтобы улучшить использование ресурсов всей системы.

Мощная параллельная загрузка.

Показатели производительности импорта данных играют важную роль в использовании хранилища данных, база данных MPP SeasQL может использовать ресурсы всех узлов кластера при загрузке данных, производительность загрузки линейно увеличивается с увеличением числа узлов, а скорость загрузки данных может достигать 20 ТБ / ч в больших кластерах.

Интегрированная библиотека машинного обучения MADLib

MADlib ориентирован не на программистов, а на разработку баз данных или DBA, сочетая простоту использования SQL со сложными алгоритмами интеллектуального анализа данных, чтобы в полной мере использовать преимущества и характеристики обоих и значительно повысить эффективность разработки разработчиков.

Для пользователей MADlib предоставляет функции, которые могут быть вызваны в SQL - запросе, который включает в себя не только базовые линейные алгебраические операции и статистические функции, но и обычные, готовые функции моделирования машинного обучения или анализа данных. Пользователям не нужно углубляться в детали реализации программы алгоритма, просто нужно четко определить способ использования функции, что значительно повышает эффективность разработки и экономит затраты на разработку.

Интегрированная обработка геопространственных данных PostGIS

PostGIS является расширением объектно - реляционной системы баз данных PostgreSQL, которая преобразует систему управления базами данных PostgreSQL в пространственную базу данных, добавляя поддержку типов пространственных данных, пространственных индексов и пространственных функций в PostgreSQL.

В MPP SeasQL интегрирована пространственная база данных PostGIS, которая полностью интегрирует пространственные данные и объектно - реляционные базы данных, обеспечивая переход от ГИС к базе данных. Таким образом, пользователям не нужен специализированный движок данных GIS для обработки и манипулирования пространственными данными, и приложения могут легко манипулировать пространственными данными только на языке SQL.

Прозрачное шифрование

Прозрачный шифровальный модуль SeasQL MPP обеспечивает шифрование всей базы данных, которое совершенно не воспринимается клиентом. При записи блока данных на диск данные шифруются; При чтении данных с диска осуществляется дешифровка. Это гарантирует, что данные, хранящиеся на диске, остаются зашифрованными и что данные открытого текста не могут быть прочитаны даже при получении содержимого диска. В то же время бизнес - уровень полностью не воспринимает действия шифрования и не требует каких - либо адаптивных изменений для шифрования. Метод шифрования использует режим шифрования XTS AES, который гарантирует безопасность шифрования данных.

Десенсибилизация данных

Десенсибилизация данных (Data Masking), также известная как обесцвечивание данных, деконфиденциальность данных или деформация данных. Под этим подразумевается деформация определенных конфиденциальных данных с помощью правил десенсибилизации для обеспечения надежной защиты конфиденциальных данных. В тех случаях, когда речь идет о данных безопасности клиента или некоторых коммерческих конфиденциальных данных, при условии соблюдения системных правил, для преобразования реальных данных и обеспечения тестового использования личной информации, такой как идентификационный номер, номер мобильного телефона, номер карты, номер клиента и т. Д. Требуется десенсибилизация данных.

База данных SeasQL MPP предлагает разнообразные способы десенсибилизации, которые определяют правила десенсибилизации, и пользователи могут получить доступ к данным десенсибилизации двумя способами:

АСтатическая десенсибилизация:Удалите конфиденциальную информацию в библиотеке, а конфиденциальные данные в базе данных покрыты и не могут быть восстановлены.

АДинамическая десенсибилизация:Защищая конфиденциальную информацию от указанного пользователя, другие пользователи, которые не были десенсибилизированы, по - прежнему будут иметь доступ к исходным данным.

Конфедерация данных FDW

FDW - это реализация стандарта SQL SQL / MED (SQL Management of External Data). FDW предлагает широкий спектр унифицированных общедоступных интерфейсов, которые позволяют легко интегрировать расширения в основные компоненты оптимизации, выполнения, сканирования, обновления и статистики, а также в глубину SeasQL, что позволяет напрямую запрашивать и управлять внешними источниками данных с помощью SQL - операторов. Например, FDW for MySQL позволяет пользователям напрямую запрашивать, сортировать, группировать, фильтровать, Join и даже вставлять и обновлять данные базы данных MySQL так же, как они работают с локальными таблицами.

В зависимости от источника данных модули FDW, реализованные SeasQL, включают: postgres_fdw、file_fdw、oracle_fdw、mysql_fdw、json_fdw、redis_fdw、hdfs_dfw， Как показано на диаграмме ниже:

Сжатые биты Roaringbitmap

RoaringBitMap - это эффективный алгоритм сжатия битовых диаграмм, который может эффективно повысить эффективность использования битовой памяти и решить проблему несовместимости разреженных битовых диаграмм с разреженным хранилищем. Битовые вычисления Bitmap идеально подходят для вычислений с большой базой данных и часто используются в таких вычислениях, как сброс веса, скрининг меток, временные ряды и т.д. Модуль gpdb roaringbitmap интегрирует функции Roaringbitmap в базу данных MPP SeasQL, предоставляя Roaringbitmap как тип данных, поддерживающий функции базы данных, операторы, агрегации и другие функции.