Логическая витрина данных

Логическая витрина данных - инструмент, позволяющий связать информацию из разных источников в единый граф знаний (Knowledge Graph) без создания общего физического хранилища. Наш продукт "Логическая витрина данных" - это модуль расширения для АрхиГраф.MDM, который дает возможность извлекать данные по запросу из любых внешних источников: реляционных, документ-ориентированных и графовых СУБД, веб-сервисов и даже файлов. В стандартный комплект поставки входят драйверы витрины для СУБД Oracle, SQL Server, Postgres, MongoDB, точек доступа SPARQL. Этот список может быть расширен в соответствии с задачами заказчика.

Модель правил соответствия структуры данных

Запрос к API АрхиГраф.MDM строится в терминах онтологической модели предметной области. Настройки витрины хранят правила соответствия классов и свойств онтологии элементам структуры хранилищ, а также реквизиты доступа к ним.

Получив запрос, Логическая витрина данных определяет, в каких источниках находится информация, необходимая для формирования ответа на него. Витрина выполняет серию обращений как к хранилищам систем-источников, так и к СУБД под управлением самой платформы АрхиГраф.MDM, агрегирует полученную информацию, строит ответ и возвращает его клиенту.

Таким образом, клиент АрхиГраф.MDM может работать с данными как с единым, связным графом, не заботясь о том, где физически находится информация и какова ее структура. Изменение настроек мэппинга позволяет быстро реагировать на изменение структуры данных в хранилищах, подключать новые источники данных, расширять набор доступных через API типов сущностей и свойств.

Модель правил соответствия структуры данных

Логическая витрина данных способна объединять в единое целое разрозненную, слабо связанную, сложную и динамичную по структуре информацию: от каталогов активов до временных рядов показаний датчиков, от сведений о ремонтах до событийной информации.

Общая схема работы витрины показана на следующем рисунке:

Схема работы логической витрины данных


Порядок работы системы таков:

  • аналитик делает запрос;
  • логическая витрина данных представляет его в виде запроса к графу и передает SPARQL точке доступа АрхиГраф.MDM;
  • витрина определяет, где находятся данные, необходимые для ответа на этот запрос;
  • витрина выполняет частные запросы исходных данных к разным источникам, используя необходимые фильтры;
  • получает ответы и интегрирует их в единый временный граф;
  • выполняет пост-обработку графа, заключающуюся, например, в применении правил форматно-логического контроля и контроля целостности;
  • возвращает ответ аналитику.

Аналитик может строить запросы при помощи любого приложения, работающего с АрхиГраф.MDM, в том числе редактора АрхиГраф.Мир или Системы управления знаниями АрхиГраф.СУЗ.

Результат запроса к логической витрине данных

Интерфейс АрхиГраф.СУЗ позволяет аналитику выбрать класс искомых объектов, задать условия фильтра и получить список информационных объектов, отвечающих этим условиям. Логическая витрина данных, выполняя запрос, не только приводит структуру информации, извлеченной из систем-источников, в соответствие с онтологической моделью, но и консолидирует данные об одних и тех же бизнес-объектах, полученных из разных систем. Для этого используются ключевые свойства объектов, набор которых также определен в модели, или таблицы соответствия идентификаторов.

Консолидированный объект может иметь значения свойств, полученные из разных систем-источников. Это позволяет сравнить свойства объекта в разных системах, выявить неполную и не актуальную информацию. К свойствам объекта также могут быть применены правила контроля ограничений, сконструированные в АрхиГраф.СУЗ - это позволит стюарду данных найти информационные объекты, нарушающие условия форматно-логического контроля или контроля целостности.

Сравнение свойств объекта в разных системах, применение правил контроля целостности

Логическая витрина данных является необходимым инструментом реализации дата-центрической ИТ-архитектуры.

Где внедрялся этот продукт:

Газпром недра
Газпром недра

Внедрение АрхиГраф.MDM для создания Единого пространства обращения геолого-геофизической и промысловой информации

https://nedra.gazprom.ru

Период выполнения проекта:

04.2021 – 04.2021

Период выполнения проекта:

04.2021 - 04.2021

Газпром недра

https://nedra.gazprom.ru

Описание

ПО семейства АрхиГраф поставлено в ООО "Газпром недра". АрхиГраф.MDM будет использоваться для хранения модели данных и НСИ, создания логической витрины данных Единого пространства обращения геолого-геофизической и промысловой информации.