Корпоративные хранилища данных (КХД) становятся одним из ключевых элементов цифровой трансформации организации. КХД – идеальная платформа для консолидированной подготовки отчётов и интегрированного бизнес-анализа, обеспечивающего оперативное принятие обоснованных решений. Как устроено современное КХД, почему целесообразно создавать его с использованием российских решений – об этом и многом другом в беседе с Национальным банковским журналом (NBJ) рассказала директор Центра финансовых решений ИТ-компании РДТЕХ Анна ДМИТРАКОВА.
NBJ: Анна, как растёт объём данных в финансовых учреждениях в последние годы?
А. ДМИТРАКОВА: Сегодня объёмы данных интенсивно растут во всех сферах деятельности. Массивы информации, которые сегодня агрегируются, например, в банках, измеряются десятками терабайт (ТБ). В небольших филиалах это может быть порядка полусотни ТБ, в крупных – в несколько раз больше. Например, в ВТБ объём данных семь лет назад уже составлял более 130 ТБ. КХД банков пополняются в среднем на 1 ТБ в месяц.
NBJ: Какой была эпоха до корпоративных хранилищ, как жили банки по старинке?
А. ДМИТРАКОВА: Потребность анализа бизнес-показателей в различных разрезах и развитие информационных систем (ИС) в секторе enterprise в 90-х годах привела к необходимости консолидации данных из отдельных систем. Из-за кардинальных различий модели данных в ИС получение сводной отчётности из разных систем было затруднено. Это дало толчок к возникновению КХД, хотя большинство компаний использовали для работы с данными старый добрый Excel.
NBJ: Чем КХД отличается от обычной базы данных?
А. ДМИТРАКОВА: В обычной БД хранятся сведения из ИС, например, в БД CRM находятся данные о клиентах, продажах, продаваемых продуктах. В ней не будет информации о персонале, поставках, производственном процессе компании. КХД содержит информацию из различных ИС, включая актуальные и исторические данные. На основе имеющихся данных КХД может генерировать недостающие сведения, для этого предусматриваются алгоритмы их создания.
NBJ: Есть ли трудности при внедрении КХД, и каковы они?
А. ДМИТРАКОВА: При построении хранилища одним из важных аспектов, оказывающих влияние на проект (стоимость, длительность, сложность, объём сопровождения), являются источники данных. Неоднородность программной среды требует особого внимания при проектировании единой, согласованно функционирующей ИС на основе различных программных средств и решений. Но стоит отметить, что при качественном анализе и грамотном проектировании хранилища модуль очистки и предрасчёта данных справляется с данной сложной задачей.
NBJ: Как устроено стандартное КХД?
А. ДМИТРАКОВА: Основная цель хранилища заключается в объединении данных из используемых компанией информационных систем (ERP, CRM, клиентских приложений и других внутренних и внешних источников) и приведении их в удобный вид для дальнейшей обработки и анализа. Хранилище позволяет структурировать данные, обеспечивая необходимый уровень детализации.
Если разбирать работу КХД пошагово, то важно выделить несколько функций:
- Извлечение данных и их сбор из всех ИС;
- Преобразование данных с проверкой, очисткой и обогащением для передачи в КХД;
- Загрузка подготовленных данных;
- Моделирование данных, обеспечивающее их связь и систематизацию.
В результате решается основная задача – построение бизнес-аналитики в различных разрезах на основе запросов.
NBJ: Насколько аналитика данных в КХД зависит от их качества?
А. ДМИТРАКОВА: Конечно, чем больше данных, тем больше вопросов к их надёжности и актуальности. КХД позволяет обеспечить автоматический контроль качества данных. Это важный критерий для того, чтобы получить максимально полное представление об анализируемом направлении. Целесообразно разграничивать работу над качеством внутренних данных из корпоративных ИС и внешних, поступающих из сторонних источников.
NBJ: Насколько удобным инструментом является КХД для пользователей? Какова скорость обработки информации?
А. ДМИТРАКОВА: Основные бизнес-пользователи – финансовые структуры, менеджмент различного уровня, подразделения, работающие с продажами, маркетингом и производством. Однако фактически они не являются пользователями КХД, на практике они работают с BI-системой или специально разработанными видами отчётности.
При этом данные в КХД структурированы таким образом, чтобы их можно было максимально быстро предоставить в качестве отчётности, которую можно сформировать за несколько секунд даже при сверхвысоких объёмах данных. Так, например, платформа Сбера, формирующая BI-аналитику в режиме реального времени, в среднем обрабатывает 11 Тб данных в сутки со скоростью 27 тыс. событий в секунду.
NBJ: Используются ли в КХД и для решения каких задач технологии искусственного интеллекта?
А. ДМИТРАКОВА: Степень проникновения ИИ в бизнес-процессы финансовых организаций – одна из самых высоких в стране. В КХД ИИ применяется в процессе ETL, моделировании данных, их автоматической очистке и мониторинге качества. ИИ может обнаруживать и устранять ошибки в самом хранилище, повышая надёжность системы. Умное решение анализирует большие объёмы данных в режиме реального времени.
С помощью нейросетей можно улучшить самые разные метрики. Например, анализировать профиль пользователя, на основе которого создавать для него индивидуальное, а не унифицированное предложение. Прогнозировать поведение клиента при погашении кредита – на основании данных ИИ система принимает решение о выдаче средств или отказе.
NBJ: Как КХД строит прогнозы и предупреждает о рисках на основе имеющихся данных?
А. ДМИТРАКОВА: Так как обеспечение актуальной аналитики – это основная задача использования КХД, в большинстве случаев при построении решения внедряется аналитическая платформа, позволяющая строить прогнозы, выявлять слабые и сильные места как во внутренних процессах, так и при продаже.
Например, в результате внедрения рекомендательной системы по управлению технологическим процессом производства производитель минеральных удобрений «Еврохим» стал выявлять возможности внесения новых марок и изменения настроек для оптимизации производственного процесса. И это помимо основной задачи по анализу графиков выработки продукции с учётом меняющихся параметров.
Один из наших заказчиков в финансовом секторе, используя аналитику клиентов и транзакций в рамках задач комплаенса, выявил ряд интересных закономерностей и сформировал предложения по созданию нового банковского продукта.
NBJ: Были ли случаи сбоев в системах данных финансовых организаций? Какие убытки понесли банки из-за произошедших инцидентов?
А. ДМИТРАКОВА: Важно понимать, какая аналитика пострадала, для чего именно использовались данные. В случае подготовки регуляторной отчётности, необходимой для предоставления ЦБ, последствия сбоя могут быть крайне тяжёлыми. Если же речь идет об аналитических данных по продажам, маркетингу, анализу деятельности и мониторингу показателей, то бизнес резко не остановится, но финансовые потери вероятны спустя некоторое время. Например, вывод на рынок финансового продукта позднее конкурентов приведёт к недополучению планируемой прибыли.
Несвоевременный анализ складских остатков может привести к простою производства.
NBJ: Какие решения – иностранные или российские выбирают банки для создания платформы КХД?
А. ДМИТРАКОВА: В период активного развития бизнеса и высокой конкуренции хранилища данных перешли в разряд систем, критически важных для бизнеса. Большинство банков включает в стратегию ИТ-развития перевод действующих решений на отечественное ПО. Это происходит не только с целью соблюдения сроков импортозамещения, но и с необходимостью получения качественной аналитики всего объёма информации для обеспечения конкурентного преимущества.
Многие банки активно работают в этом направлении. Например, Московский кредитный банк планирует полностью перевести КХД на новую инфраструктуру до конца 2023 года. На российское решение мигрирует ОТП Банк, который выбрал платформу нашего партнёра – компании Arenadata – масштабируемую аналитическую СУБД, построенную на технологии с открытым исходным кодом Greenplum.
NBJ: Какие услуги для построения КХД предлагает рынку РДТЕХ?
А. ДМИТРАКОВА: Разработка аналитических систем для поддержки принятия решений, построение хранилищ данных – одна из основных специализаций нашей компании. Отмечу, что опыт РДТЕХ по данному направлению измеряется несколькими десятками проектов на протяжении 30 лет.
Специалистами компании выработан собственный подход к построению хранилища данных с использованием открытых технологий и отечественного ПО, благодаря чему новые внедрения решения и перевод систем на российский софт происходят быстрее и дешевле в 1,5–2 раза.
NBJ: Как управление данными влияет на развитие бизнеса и вывод на рынок конкурентных продуктов? Какой кейс 2023 года, на ваш взгляд, наиболее знаковый?
А. ДМИТРАКОВА: Одной из наиболее популярных задач, которые решает аналитическая платформа, как раз является поиск путей развития и новых ниш для продвижения. Так, управление данными позволяет отслеживать эффективность маркетинговых кампаний, оптимизировать акционные предложения для роста продаж и увеличивать рентабельность инвестиций в маркетинг.
Уникальный для своего сектора проект по оптимизации персональных В2В-предложений в 2023 г. реализовало АО «Акрихин». Компания развивает собственную В2В e-commerce-платформу для работы с аптечными сетями, на которой для стимулирования продаж формируются персональные акционные предложения. Созданная модель оптимизации позволила корректировать параметры предлагаемой акции с учётом прогнозирования как вероятности их принятия клиентами, так и изменения прибыли – по отдельному предложению, а также по их совокупности. По результатам тестирования в течение 4 недель суммарная выручка от предложений для тестовой выборки выросла относительно контрольной выборки на 160%, gross profit – на 140%.
Источник: NBJ
