Создание Платформы КХД для ВЭБ.РФ

Главное о кейсе

Проект по разработке системы корпоративного хранилища данных (КХД) для ВЭБ.РФ был запущен для решения острой в наше время проблемы – обеспечение безопасности хранения данных и одновременно удобной работы с ними.
В результате было достигнута высокая производительность, обеспечивающая скорость работы с данными необходимую для аналитической отчетности и бизнес процессов компании.

Система в цифрах:
12 Тб данных
2500 пользователей

Как проект изменил жизнь пользователей

Реализация проекта позволила пользователям, получить надежный и быстрый доступ к качественным и актуальным данным, что значительно повысило эффективность принимаемых решений. Пользователи получили централизованное и защищенное хранилище данных, что уменьшило риски потери и утечки данных.

Бизнес-задача и ее решение

Основные задачи проекта:
• Повышение устойчивости и информационной безопасности решения;
• Повышение производительности корпоративного хранилища данных для оперативного обеспечения данными бизнес-процессов и аналитической отчетности.

Реализация:
Разработана и реализована архитектура КХД включая набор инструментов для наиболее эффективной обработки, хранения и предоставления данных.
Внедрен полный цикл работы с данными:
1. Сбор данных
2. Хранение
3. Проверка качества
4. Управление метаданными
5. Визуализация и аналитика
Сбор данных предусматривает возможность ручной загрузки данных из файлов и отдельный модуль позволяющий подключать любые внешние источники по средством API, MQ и прямое подключение к БД.

Модуль управления базами данных предназначен для хранения, обработки предметно-ориентированных и интегрированных наборов данных.

Проверка качества обеспечивается за счет регулярной массовой автоматизированной проверки данных согласно настроенным процедурам, с упорядоченным сохранением результатов и технических ошибок работы процедур, выявлением отклонений, постановкой задач на расследование ответственными сотрудниками, определением решения для инцидента и исправлением инцидентов, которые определены как ошибки.
Управление мета данными осуществляется через ведение бизнес-глоссария с широким набором атрибутов с удобным веб-интерфейсом управления.

Крафт (мастерство), реализация, технические детали

В рамках проекта разработано несколько уникальных модулей ETL-OTRI. DI для сбора данных, OTRI. DG для управления, проверки и визуализации данных

Инсайты, гипотезы, процесс создания и взаимодействия с заказчиком

Нет

Скриншоты