Автоматизация управления данными: перевод функционала управления метаданными и бизнес-глоссарием на импортозамещающее решение

Заказчик:
АО «Российский сельскохозяйственный банк»
Руководитель проекта со стороны заказчика
Поставщик
ООО «Адастра»
Год завершения проекта
2023
Сроки выполнения проекта
Август, 2022 - Октябрь, 2023
Масштаб проекта
14138 человеко-часов
Цели
Целью проекта являлось развитие системы управления данными с параллельным развитием автоматизации процессов управления изменениями аналитического контура на основе метаданных.
Результаты

Банк успешно перешел на новую платформу, автоматизирующую процессы управления данными и предоставляющую пользователям возможность получения информации о данных в режиме 360 (от информации об их происхождении и хранении в системах до описания бизнес-семантики и связей с бизнес-процессами с информацией о пользователях, владельцах и иных ответственных). Решение является фундаментом для автоматизации бизнес-процессов, связанных с данными, на основе широкого использования метаданных, а также мощным и эффективным инструментом для дальнейшей автоматизации процессов.

Данное решение способствует росту грамотности работы с данными среди сотрудников, позволяет упорядочить развитие аналитического контура, а также сократить время реализации продуктов, основанных на данных.

Уникальность проекта

Проект являлся комплексным как по масштабу затрагиваемых процессов, так и в части решения задачи импортозамещения. Существовавшая в банке система управления метаданными на основе решения иностранного вендора была тесно интегрирована в процессы аналитического контура в части ведения документации (описания) разработанных витрин, бизнес-терминов, отчетов, доменов данных, источников, проверок качества данных, алгоритмов нормализации MDM, ведения технических метаданных и ряда других сущностей (более 50 типов). Эта система предоставляла возможность пользователям посмотреть на данные в разрезе 360, а также сформировать запросы на создание новых отчетов и иных объектов в рамках управления изменениями.

Ключевыми вызовами проекта была необходимость обеспечить переход на новое решение не просто с сохранением существующего функционала и миграции данных с минимальным прерыванием процессов, но и обеспечить автоматизацию процессов управления бизнес-инициативами, требованиями и оценкой в процессе миграции.


Проект решает задачи импортозамещения
Да
Использованное ПО
Система управления метаданными Data Ocean Governance Enterprise Metadata Management и вспомогательные Open-Source-компоненты, необходимые для работы решения.
Сложность реализации
Переход со зрелого проприетарного решения, проверенного годами эксплуатации, на новое решение, построенное на современном, но новом для команды Open-Source-стеке технологий, – это непростая задача: был необходим тщательный анализ функционала и четкое понимание, как он может быть реализован на новом решении с поиском возможных альтернатив. Гибкость платформы дает широкие возможности по настройке и реализации любого функционала, но при этом требует от команды внедрения серьезной технической экспертизы в части настроек, что на ранних этапах существенно усложняет задачу. Возможно, можно было ограничиться только простым импортозамещением, но тогда банк не смог бы в полной мере оценить возможности и недостатки решения и эффективно использовать его в дальнейшем.
Описание проекта

Так как задача проекта лежит на стыке бизнеса и ИТ, то команда проекта состояла из представителей департамента корпоративного развития (ДКР) и департамента информационных технологий (ДИТ).

В рамках проекта перед командой стояла задача выбрать импортозамещающее решение, которое являлось бы не просто каталогом данных или бизнес-глоссарием, но представляло бы собой гибкую для настройки платформу, которая может быть использована для автоматизации процессов управления метаданными в формате «сверху-вниз», т. е. от подготовки бизнес-требований и постановок с параллельным описанием метаданных и получением необходимых согласований до автоматизированного сбора технических метаданных из систем, в которых реализованы новые продукты на основе данных (отчеты, витрины и пр.). При этом также было необходимо учитывать, что существующая система уже достаточно плотно интегрирована в ландшафт и бизнес-процессы банка в части формализации постановок и заказа изменений отчетов или новых продуктов на основе данных, соответственно, все процессы и объекты должны были быть перенесены на новое решение с минимальным влиянием на пользователей.

В ходе обсуждения деталей реализации было принято решение, что простой переход на импортозамещающее решение не в полной мере соответствует стратегии банка по автоматизации управления данными и построении метадатацентральных процессов для эффективной поддержки аналитики – простое импортозамещение тормозило этот процесс. Поэтому скоуп проекта был расширен и включил в себя, кроме миграции, автоматизацию комплексного процесса управления изменениями – создания и согласования бизнес-инициатив, формализации требований и проведения экспресс-оценки стоимости реализации. Автоматизация MVP этого процесса в двух вариантах – для стандартных проектов, а также для задач кросс-функциональных команд – была поставлена как одна из целей проекта с выходом в пилот по его окончанию.

В рамках проекта был проведен анализ рынка, и в качестве базовой платформы для реализации было выбрано решение Data Ocean Governance Enterprise Metadata Management, разработанное компаний «Дата Сапиенс», которое находилось в фазе активной разработки. Одним из ключевых факторов для выбора платформы стала гибкость платформы, заложенная в архитектуру ядра, готовность вендора к развитию решения в рамках проекта, а также экспертиза в области управления.

Реализация проекта велась единой командой подрядчика и банка в тесном контакте с командой вендора. Это позволило не только реализовать проект в срок, но и дало сотрудникам банка необходимый опыт работы с платформой для ее последующего развития и более плотной интеграции в ландшафт и процессы банка.

В рамках проекта была обеспечена настройка и миграция около 80 типов объектов метаданных, перенесены с сохранением статусов тысячи объектов, описывающие различные объекты данных, а также собраны технические метаданные из ряда систем. Кроме этого, без потери функционала были мигрированы несколько десятков процессов согласования, автоматизирующих процессы аналитического контура, и реализована амбициозная задача по подготовке к пилотированию автоматизированного процесса управления изменениями.


География проекта
Москва / Российская Федерация
Коментарии: 17

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Евгений Чернобуров
    Рейтинг: 40
    ООО Глоубайт
    Руководитель Практики
    14.12.2023 12:40

    Как новая платформа обеспечивает соответствие нормам управления данными, и можно ли измерить влияние на скорость развёртывания аналитических продуктов?

    • Полина Герасимова Евгений
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      21.12.2023 10:20

      Евгений, добрый день!
      Решение обеспечивает прозрачность данных для всех пользователей банка (аналитиков, ИТ-специалистов, бизнес-пользователей, работающих с данными и т.д.), в частности в системе для всех ключевых объектов (терминов, продуктов на основе данных) прозрачно определяются ответственные сотрудники, подразделения и иные роли, которые имеют отношения к данному объекту (например, потребители данных для отчетов, или архитекторы для ИТ-систем, владельцы процессов). Это позволяет не только найти необходимые данные и оценить характер их использования в процессах, но и организовать эффективные коммуникации. Касательно оценки влияния на скорость развертывания аналитических продуктов: на сегодняшний день по нашим оценкам реализация решения способствует сокращению затрат на поиск данных, сокращению количества проблем с качеством данных, связанных с некорректной интерпретацией информации, а также минимизирует риски дублирования данных (в первую очередь отчетности). Точную оценку на уровне организации провести пока затруднительно, т.к. мы находимся на этапе сбора и каталогизации данных компании.

  • Андрей Турунов
    Рейтинг: 170
    ПАО “Группа Ренессанс Страхование”
    Управляющий директор департамента клиентского опыта
    20.12.2023 17:20

    Полина, здравствуйте! Поздравляю с успешным завершением проекта! Подскажите, было ли достигнуто повышение каких либо бизнес метрик компании за счёт расширения функционала платформы? И если да, то какие метрики удалось улучшить, и каким было ключевое расширение функционала?

    • Полина Герасимова Андрей
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      21.12.2023 12:13

      Андрей, добрый день!
      В результате проекта мы решили задачу импортозамещения, сохранив всю информацию о данных, которая была собрана в используемом ранее импортном решении. Платформа, на которой базировалось импортное решение, используемое ранее, была достаточно гибкой в части настройки описания различных типов метаданных, процессов и интеграций с системами Банка, и мы глубоко кастомизировали большое количество настроек. Выбранная платформа обладает теми же характеристиками в части гибкости и возможности настроек и конфигурации, поэтому мы смогли перейти на ее использование с минимальными потерями в функционале. При этом новое решение обладает более современным интерфейсом и рядом полезных для конечных пользователей возможностей и компании в целом, которые мы планируем использовать при развитии решения для обеспечения более глубокой интеграции в процессы управления изменениями. Если вернуться к вопросу о бизнес-метриках, то ключевой задачей на данном этапе было, в первую очередь, не допустить деградации существующих процессов, в остальном мы ожидаем, что платформа позволит оптимизировать время разработки продуктов основанных на данных, за счет обеспечения прозрачности данных, сократить дублирование данных и снизить риски инцидентов качества данных, за счет однозначной интерпретации данных и упрощения анализа влияния изменений. В настоящий момент оценивать прямое влияние на бизнес-метрики преждевременно, поскольку мы находимся на этапе сбора и каталогизации данных компании.

  • Ильхом Галимов
    Рейтинг: 230
    ПАО "УЗБЕКИНВЕСТ" КОМПАНИЯ ЭКСПОРТНО-ИМПОРТНОГО СТРАХОВАНИЯ"
    CIO
    21.12.2023 09:15

    Каким образом осуществляется автоматизация процессов управления изменениями в рамках данного проекта?

    • Полина Герасимова Ильхом
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      22.12.2023 12:02


      Ильхом, добрый день!
      Выбранное решение позволят нам продолжать развитие управления метаданными в парадигме "сверху-вниз", т.е. когда метаданные появляются до реализации новых продуктов основанных на данных. Такой подход требует глубой интеграции решения в процессы управления изменениями (возможность такой интеграции и гибкость настройки процессов и вариантов взаимодействия с другими системами Банка, изначально были одними из самых важных факторов при выборе платформы для импортозамещения). Мы стремимся к тому, чтобы пользователи с самого начала вносили необходимую информацию в систему управления метаданными: например, при возникновении потребности в создании или изменении отчета, пользователь сразу создает запрос на такое изменение внутри системы управления метаданными, описывая, что именно ему необходимо. Далее, в рамках жизненного цикла такие запросы обрабатываются технологами, анаитиками, архитекторами и иным специалистами (список и порядок зависит от конкретной потребности), которые обеспечивают формализацию запроса, связывая его с необходимыми терминами, источниками данных, бизнес-процессами и пр., а на следующем этапе эта информация идет на вход командам для оценки работ и для принятия решения о необходимости реализации или приоритете запрошенной доработки, в случае реализации мы получаем объект обогащенный бизнес и техническими метаданными.Таким образом существенная часть процесса управления изменениями фактически происходит внутри системы управления метаданными, которая интегрирована с другими системами, используемыми в процессе управления изменениями. На сегодняшний день мы уже перевели несколько процессов по работе с данными на описанный процесс, но это только первые ласточки - существенная часть работы еще впереди.

  • Екатерина Гурова
    Рейтинг: 117
    ПАО Росбанк
    Директор Департамента цифровых сервисов, трансформации и координации ресурсов рисков
    21.12.2023 15:20

    Как новая платформа обеспечивает интеграцию метаданных с бизнес-процессами и в какой степени решение сократило время создания данных продуктов?

    • Полина Герасимова Екатерина
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      31.12.2023 14:39

      Екатерина, добрый день!
      Переход на новую платформу позволил нам решить задачу импортозамещения системы управления метаданными, с сохранением всех процессов и данных, которые существовали в импортном решении, которое мы развивали ранее. Новое решение обладает большой гибкостью в части настройки бизнес-процессов и интеграции с другими системами Банка, благодаря этому смогли бесшовно интегрировать решение в ряд процессов по управлению изменениями, развивая концепцию, в которой метаданные описываются до реализации продуктов и витрин (подход metadata first), при этом за счет того, что метаданные начинают собираться на самых ранних этапах процессов постановки задач на изменение, мы имеем возможность собирать и хранить на уровне метаданных информацию о потребителях каждого набора данных, а также информацию о том, в каких бизнес-процессах они используются. Это в существенной мере способствует снижению рисков при анализе влияния изменений. Также полный взгляд на метаданные (описание метрик и терминов, процессов, отчетов и пр.) позволяет повысить прозрачность изменений, и избежать появления дублирующихся запросов, либо понять, что нет необходимости создавать новый отчет или витрину, а можно расширить уже имеющуюся (в конечном итоге, это способствует сокращению общих затрат). С точки зрения скорости создания продуктов - решение делает более доступной информацию о данных для всех категорий пользователей (включая аналитиков, технологов и пр.), и им не приходится тратить дополнительные ресурсы на поиск и сбор этой информации от коллег из других задач. Пока мы не оценивали точный количественный эффект в части роста time-2-market, поскольку мы пока находимся на этапе сбора и каталогизации данных компании.

  • Иван Котляровский
    Рейтинг: 431
    СПАО “Ингосстрах”
    Руководитель направления Управления сопровождения урегулирования
    25.12.2023 14:52

    Полина, поздравляю с реализацией проекта! Подскажите, сколько бизнес-процессов планируется к дальнейшей автоматизации и какое количество сотрудников задействованы в этих процессах?

    • Полина Герасимова Иван
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      31.12.2023 15:03

      Иван, добрый день!
      На данном этапе мы занимаемся анализом всех процессов ИТ-производства, в рамках которых происходит создание или изменение данных, далее структурируем их по направлениям, например запросы на внутренние или внешние отчеты, запросы на разовую выгрузку данных, инициативы на изменение бизнес-процессов, запросы на внешние данные и другие. По результатам определяем необходимость автоматизации того или иного процесса в системе. Ряд процессов уже прошли пилотирование, регламентированы в постоянных документах и распространены на всех сотрудников Банка. Другие же сейчас на стадии пилотирования и распространены на те подразделения, которые участвуют в Пилотах. В 2024 году мы планируем переводить пилотируемые процессы, автоматизированные в системе, в постоянные и масштабировать на весь Банк. Параллельно мы будем заниматься анализом этапов процессов, на которых возникает потребность в данных.

  • Павел Шорохов
    Рейтинг: 526
    Магнит
    Директор департамента по работе с данными
    27.12.2023 18:12

    Полина, добрый день.
    Подскажите, как новая система управления метаданными влияет на качество и скорость обработки данных в аналитическом контуре?

    • Полина Герасимова Павел
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      31.12.2023 15:05

      Павел, добрый день!
      Система управления метаданными не влияет на прямую на скорость обработки данных в аналитическом контуре, но она способствует оптимизации процессов по его развитию, в частности:
      - снижает трудозатраты на поиск данных (ускорение работы технологов и аналитиков)
      - сокращает риски дублирования данных, создания излишних копий (сокращение затрат на диски и сопровождение)
      - снижает риски качества данных, за счет большей прозрачности алгоритмов расчета метрик (возможность переиспользования витрин), а также ускорения анализа возможных расхождений из-за разницы в алгоритмах
      - упрощает коммуникации в процессе работы с данными (в системе определены ответственные подразделения и конкретные владельцы, к которым можно обратиться, например, для уточнения вопросов из-за выявленных расхождений или для получения пояснений по алгоритму), т.е. снижаются затраты на поиск технических и бизнес-экспертов в случае возникновения вопросов.
      Мы уже сейчас видим улучшение процессов по данным направлениям, которое будет расти по мере наполнения системы данными в процессе сбора и каталогизации - тут есть прямая зависимость от масштаба.

  • Роман Кузнецов
    Рейтинг: 931
    ГК Интертехэлектро
    CDTO
    28.12.2023 17:00

    Полина, добрый день!
    Сейчас на российском рынке есть ряд решений с крупными внедрениями. Госкорпорации и органы власти уже несколько лет переходят на отечественное ПО. Data Ocean Governance Enterprise Metadata Management - система не имеет широкого распространения. Честно говоря первый раз увидел эту систему, читая описание вашего проекта. Как было организован отбор решений? Какие еще рассматривались платформы и по каким критериям выбор остановился на Data Ocean?

    • Полина Герасимова Роман
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      31.12.2023 15:09

      Роман, добрый день!
      В рамках выбора решения мы рассматривали различные варианты, начиная от продуктов с открытым исходным кодом (например, Open Metadata) до каталогов данных от различных российских вендоров. При формировании требований к ПО, мы во многом опирались на собственный опыт, поскольку ранее в Банке уже было внедрено и активно использовалось решение от одного из западных вендоров, которое мы хотели импортозаместить. Наиболее важные критерии, которые мы предъявляли к решению - это:
      - полная поддержка подхода ведения метаданных "сверху-вниз", т.е. когда метаданные, описывающие новые продукты основанные на данных (отчеты, витрины и пр.), потоки данных и пр. могут быть описаны до момента их фактической реализации, что позволяет эффективно встроить систему управления метаданными в процесс управления изменениями;
      - высокая гибкость решения, в части настройки и кастомизации различных типов объектов метаданных - это важно поскольку мы изначально ориентировались на предоставление пользователям системы картины 360, т.е. возможности не только увидеть бизнес-термин или описание таблицы или потока данных в источнике, но их окружение - связанные бизнес-процессы, системы, домены и иные сущности в компании
      - возможность реализации в решении комплексных процессов согласования описания объектов (включая ветвления, делегирование, параллельное согласование и пр.) - как и первый пункт, это достаточно важный аспект для интеграции управления метаданными в процессы управления изменениями.
      Конечно, это были не единственные критерии - также мы учитывали большое количество других функциональных и нефункциональных требований (удобство пользовательского интерфейса, наличие интеграционных интерфейсов и многое другое), а также виденье продукта и его функционала со стороны Вендора, идеологию его развития и дорожную карту. По совокупности всех факторов - решение Data Ocean Governance EMM оказалось наиболее удовлетворяющим нашим потребностям. Не смотря на то, что данное решение является относительно новым на рынке, команда Вендора имеет большой практический опыт по решению задач управления метаданными на различных технологиях, что отражается в их понимании целей и задач стоящих перед продуктом. На сегодняшний день, после завершения проекта, мы можем с уверенностью говорить, что не ошиблись с выбором платформы, а также партнера для реализации проекта.

  • Артем Востриков
    Рейтинг: 50
    ПАО Группа Ренессанс Страхование
    Руководитель направления клиентской аналитики
    29.12.2023 11:16

    Полина, добрый день! Проекты по управлению данными звучат, как что-то не имеющее конечной точки на пути к совершенству. Подскажите, пожалуйста, есть ли у вас план дальнейшего развития данного направления и какой следующий шаг?

    • Полина Герасимова Артем
      Рейтинг: 111
      Россельхозбанк
      Управляющий директор Управления бизнес-анализа данных
      31.12.2023 15:11

      Артем, добрый день!
      В какой-то мере соглашусь с вашим утверждением - действительно говорить о какой-то финальной точке в развитии процессов управления данными достаточно сложно, поскольку с каждым годом Банк не стоит на месте и каждый год появляются новые продукты, данные и технологические решения, изменяются процессы, возникают новые идеи. Ключевое, чтобы процессы управления данными успевали за этими изменениями, адаптируясь под изменения, способствуя сокращению рисков и получению дополнительной ценности для бизнеса.
      Если говорить о конкретных планах в части управления метаданными, то для нас сейчас основное - это не останавливаться в процессе интеграции управления метаданными в процессы управления изменениями (на сегодняшний день интегрировали только в часть процессов), а также закончить этап сбора метаданных и их каталогизацию. Кроме этого, есть ряд других идей в части развития, но они пойдут в реализацию в следующую очередь.

  • Дмитрий Турчановский
    Рейтинг: 2577
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2024 23:37

    Смущает, что выбрано не совсем законченное решение. Какие аналоги смотрели и почему выбор пал на данном решении, за счёт каких критериев? Как делался анализ?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.