Клуб CDO

Рабочее место D-people

Очередное интервью в рамках премии CDO Awards - CDO Сбербанка Бориса Рабиновича о проекте “Фабрика данных”

Проект на рынке очень известный, но информации мало, что делает этот материал особенно интересным. Но кроме этого должен отметить, что проект реально очень крутой и прорывной в области демократизации данных, особенно с учетом масштаба такой организации, как Сбербанк.

Основные факты:
• Ключевой эффект проекта — сокращение времени дата-сайентиста на построение модели с трех месяцев до дней. Аналитикам доступна “витрина данных” — дата-сеты, построенные на основе копий систем — источников информации, с полным описанием атрибутного состава и другой необходимой информации, а так же максимально быстрая и автоматизированная организация “песочницы” для работы с данными - магазин инфраструктуры, где можно выбрать виртуальный сервер необходимой конфигурации — с нужным числом ядер, объемом памяти и «начинкой». Заказываешь — и в течение часа разворачивается Hadoop и создается твой персональный сервер. Специально для тебя! Получается новый клиентский опыт: развернув сервер, заказываешь данные в супермаркете, получаешь права доступа — и эти данные автоматически отгружаются на твой сервер.
• К платформе на текущий момент подключены более 250 источников внутренних и внешних данных. Платформа состоит из более 100 элементов и сервисов, таких как компонент загрузки данных в реальном времени, журналирование действий пользователя, аудит, проверка прав доступа, карта данных как средство навигации, механизм проверки качества данных, механизм распространения данных и т. п. В «Фабрике данных» около 12 Пбайт полезных данных, а с учетом репликаций — около 40 Пбайт.
• Отдельно в банке разработана и утверждена политика по управлению корпоративными данными —документ, свод правил, вокруг которого выстраиваются организационная вертикаль CDO, набор процессов управления данными, роли, их функции и взаимодействие друг с другом (CDO банка и блоков, владельцы предметных областей, менеджеры данных, дата-стюарды, дата-инженеры, архитекторы по работе с данными и др.).
• Технологический стэк: основное хранение данных осуществляется в Hadoop в сборке от Cloudera, Apache Kafka, Spark, Oracle Golden Gate, OpenStack/OpenShift + собственная разработка на Java, фронтенд сделан на JavaScript + сделали свою сборку стека Hadoop, назвали ее Sberbank Data Platform, также будет собственная сборка реляционной БД Greenplum.

Основные сложности проекта:
• Во-первых, надо было сделать так, чтобы созданные инновационные компоненты стабильно работали с нужной функциональностью и нужными объемами данных. Через это надо было пройти, набить шишек и масштабироваться.

• Во-вторых, нужно было поменять процессы банка так, чтобы права доступа и согласования стало возможно заказывать и получать автоматизированно и чтобы все эти механизмы были узаконены. Вывод компонентов в эксплуатацию потребовал изменения регламентов по порядку проведения приемо-сдаточных испытаний и по правилам вывода моделей — это был большой труд.

• Но наиболее сложной была человеческая история: необходимо было убедить людей в том, что мы делаем действительно нужные, полезные и перспективные вещи. Добиться, чтобы люди начали доверять созданному нами решению, стали амбассадорами нового бренда и начали «переманивать» коллег выходить из привычных им систем, убеждать их в том, что новое решение эффективнее и за ним будущее.

https://www.computerworld.ru/cio/articles/040221-Tsifrovye-lyudi-Sbera?fbclid=IwAR3lrbDCEJoMC8d10GHhGspl4BKEsGE1423ELxZ2N8CCPNX91FO1G_rofEk

Вестник цифровой трансформации | «Директор информационной службы»

«Цифровые люди» Сбера

В Сбере создали «Рабочее место D-people» — удобный сервис для исследователей данных, который позволил сократить время разработки и вывода модели в производство с более чем трех месяцев до одного дня. CDO Сбербанка Борис Рабинович рассказывает о фабрике, лаборатории…

1.1K viewsDenis Afanasev, 12:33