Внедрение системы распределенного управления данными

Заказчик:

ПАО Московский кредитный банк

Руководитель проекта со стороны заказчика

Александр Дорофеев

Директор Департамента управления данными

Год завершения проекта

2023

Сроки выполнения проекта

Август, 2022 - Август, 2023

Масштаб проекта

1200 человеко-часов

Цели

1. Повышение эффективности бизнеса за счет повышения качества данных и снижения стоимости владения данными.

2. Внедрение эффективных процессов и технологий управления данными.

Результаты

Повышение качества данных.

Повышение скорости решения инцидентов по качеству на 30%.

Уникальность проекта

Проект по внедрению системы управления данными являлся одним из наиболее комплексных проектов, включающих в себя методологический, процессный и технологический направления.

Распределенная система управления данными позволила объединить бизнес-компетенции и знания о данных, что повысило как качество данных в корпоративном хранилище данных, так и корректную интерпретацию данных.

Также были внедрены ключевые элементы управления данными, которые позволили выйти на качественно новый уровень поддержки процессов управления данными:

· платформа по контролю качества данными (Data Quality-платформа);

· каталог данных.

DQ-платформа позволила автоматизировать технические и бизнес-проверки качества данных любой сложности. Каталог данных был подключен ко всем ключевым системам банка и стал единым источником информации по всем информационным активам банка.

Единая база знаний о данных и наличие полноценного описания данных позволило в несколько раз сократить время на поиск данных, а также повысить уровень интерпретации (корректное понимание) данных у пользователей данных.

Использованное ПО

Все решения были развернуты на базе Open Source в рамках трендов по импортозамещению и противодействию санкциям.

DQ-платформа: JupiterHub, GitLab, Grafana. Python, Airflow

Каталог данных: Open Metadata, Kubernetes, Airflow

Сложность реализации

Основная сложность по внедрению распределенной системы управления данными была в том, что децентрализация управления данными требует создания компетенций в управлении данных «на местах».

Для повышения уровня зрелости и качества управления процессами была проведена серия воркшопов с владельцами данных, а также внедрена «Тепловая карта», которая на основании 19 показателей оценивает, как общий уровень управления доменом данных, так и уровень управления теми или иными процессами по работе с данными.

Описание проекта

В рамках проекта были идентифицированы домены данных и определены ответственные за домены данных – владельцы данных.

Под руководством владельцев данных были созданы кросс-функциональные доменные команды, которые объединяли в себе бизнес-компетенции и компетенции по работе с данными.

Для внедрения новых процессов были организованы воркшопы с владельцами данных и доменными командами. Для поддержания процессов управления данными и контроля соблюдения стандартов как по качеству данных, так и по качеству описания данных были внедрены платформа по качеству данных и каталог данных.

Для оценки уровня управления данных и прогресса в управлении данными в том или ином домене была разработана и внедрена «Тепловая карта».

География проекта

Россия