Data Management

Что такое Data Management

Data Management — это набор процессов, стратегий, технологий, применяемых для эффективного сбора, хранения, обработки, анализа и использования данных. Data Management охватывает как организационные компоненты (обеспечение качества, управление доступом), так и технические (БД, хранилища, инструменты аналитики).

Data Management неразрывно связано с Data Governance — набором процессов, политик, стандартов и метрик, которые обеспечивают эффективное управление данными в организации. Data Governance подразумевает определение ответственных за данные, разработку правил их использования и контроль соблюдения этих правил.

Data Governance вместе с Data Management — это база для внедрения в компанию Data Driven подхода — стратегии принятия решений на основе анализа данных. Data Governance устанавливает стандарты качества и безопасности информации, а Data Management дает инструменты для работы с ней.

Резюмируя, цель управления данными — обеспечение их точности, целостности, безопасности, доступности с момента их получения до удаления (переноса в архив).

Основные компоненты

Управление данными можно разбить на несколько компонентов:

• Сбор. Включает получение информации для дальнейшего использования из различных источников: внешних (например, соцсети, API) и внутренних (например, CRM-, ERP-системы). Чтобы этот этап проходил эффективно, нужно решить несколько задач: определить, какие данные нужны бизнесу, автоматизировать их сбор, обеспечить контроль качества, фиксацию метаданных (источника, формата).
• Организация. Цель этапа: сделать информацию понятной за счет ее структурирования, систематизации. Организация включает создание единой структуры хранения, классификацию по признакам (источник, тип), стандартизацию форматов, управление метаданными. Это важно, так как «сырые» данные трудно поддаются человеческому и машинному анализу.
• Защита. Это набор политик и мер, предпринимаемых бизнесом для предотвращения повреждений, потерь, утечек информации, а также для управления доступом к ней. Учитывая, что сейчас данные — это актив компаний, подобные инциденты могут привести к снижению репутации, финансовым потерям. Более того, законы многих стран предусматривают ответственность за некорректное хранение и защиту информации.
• Хранение. Это выбор технологии для долгого, безопасного размещения информации с возможностью ее оперативной обработки и извлечения. То есть цель этапа — обеспечить доступность данных для сотрудников. Для этого решают следующие задачи: определения типа хранилища (например, БД, озера данных), настройка резервного копирования, оптимизация затрат на хранение, обеспечение масштабируемости.
• Совместное использование. Этот компонент нужен для организации безопасного доступа сотрудников, партнеров и других лиц к данным. Чтобы реализовать его корректно, нужно настроить уровни доступа для пользователей, мониторить использование, а также обеспечить совместимость форматов и структур.

Многообразие компонентов иллюстрирует, что Data Management — это набор мер для эффективного управления данными на каждом этапе их жизненного цикла.

Роль Data Management в бизнесе

В цифровую эпоху эффективное управление данными необходимо для поддержания гибкости, устойчивости компании. Бизнес получает несколько преимуществ от внедрения Data Management, о них — далее.

Результат анализа данных может быть основой для принятия решений в случае, если они были качественными. Что это значит? Они должны быть точными (не искажать реальность, а отражать ее), актуальными (постоянно обновляться), согласованными, целостными (без пропусков). Внедрение подходов работает в этом направлении: они устраняют дефекты, которые влияют на анализ.

Дополнительно Data Management открывает возможности автоматизации для бизнеса:

• Автоматизация построения и управления хранилищами. На основе источников данных создается структура хранилища, а далее в нее автоматически добавляется и интегрируется новая информация. Настройка параметров для повышения производительности (индексов, партиций) происходит тоже автоматически. Это снижает риск ошибок из-за ручного ввода, а также сокращает расходы на разработку, поддержку хранилищ.
• Автоматизация создания и обновления документации. Включает автоматическое описание структуры информации, ее источника, назначения, а также документирование изменений в структуре. Каталоги обновляются автоматически, а документация всегда остается актуальной, поэтому аналитики могут работать быстрее.
• Автоматизация ETL-потоков. ETL — это процесс извлечения, преобразования, загрузки данных. Здесь автоматизация позволяет ускорить и сократить ресурсы на обработку, а также минимизировать ошибки за счет проверок качества на каждом этапе ETL.
• Автоматизация контроля целостности и совместимости при интеграции. Это автоматическое отслеживание соответствия данных ожидаемой структуре, выявление, исправление ошибок, а также настройка интеграций для работы с разными форматами. Так сокращается риск проблем с интеграцией — системы работают стабильнее.

Также эти подходы снижают влияние человеческого фактора: сотрудники не всегда в точности соблюдают стандарты, действующие в организации, а ручной ввод опасен появлением ошибок. Но если в компании автоматизированы проверки качества и контроль соблюдения стандартов, риск снижения качества информации нивелируется.

Дополнительно реализация Data Governance и Data Management ускоряет, а также делает проще адаптацию новых сотрудников:

• за счет четких стандартов и автоматически обновляемых каталогов, сотрудникам проще разобраться в структуре данных — онбординг проходит быстрее;
• из-за того, что опытные сотрудники освобождаются от рутинных задач, они могут уделить больше времени обучению новичков.

Также компания не зависит от конкретных сотрудников: даже если они уволятся, данные не будут потеряны, а другие работники смогут быстрее разобраться в процессах.

Все перечисленные плюсы подхода экономят ресурсы компании:

• сокращают траты на хранение, обработку данных;
• уменьшают количество ошибок — снижаются риски;
• повышается качество данных, ускоряются процессы;
• снижаются траты на рутинные операции — меньше ручного труда.

Инструменты и технологии Data Management

В этом разделе речь пойдет об инструментах, которые помогают компаниям эффективно управлять данными на каждом этапе: от сбора до удаления. Они нужны для автоматизации процессов, контроля соблюдения стандартов, удобного доступа.

• Хранилища. Это реляционные СУБД (MySQL, PostgreSQL) для хранения и управления структурированными данными, а также нереляционные (MongoDB, Cassandra) — для работы с большими объемами неструктурированных. Главная задача этого инструмента — централизованное хранение.
• ETL-системы. Например, Talend, Apache Airflow или Informatica. Нужны для автоматического перемещения данных из разных источников в хранилища, их очистки, преобразования.
• ПО для анализа и стандартизации качества. Эти инструменты контролируют точность, полноту информации, находят и устраняют дубликаты, а также валидируют значения. Несколько примеров: Informatica Data Quality, Trifacta, Ataccama.
• Инструменты контроля безопасности. Они нужны для защиты данных и управления доступом к ним через шифрование, распределение ролей, мониторинг доступа и операций. Например, Apache Ranger или Privacera.
• Каталоги. Их функции — описание данных, отображение их источников, а также связей между ними. Это помогает сотрудникам лучше ориентироваться в информации, использовать ее по назначению. Примеры таких платформ: Collibra, Alation, Microsoft Purview.
• BI-платформы. Работа этих инструментов основана на качественных данных, поэтому BI-платформы есть в нашем списке. В эту группу относятся Power BI, Tableau и другие подобные платформы.

Комплексное внедрение этих технологий позволяет централизованно хранить и управлять данными разных форматов, контролировать их качество, безопасность, доступность, а также легко масштабировать архитектуру. Выбор конкретных технологий зависит от возраста, размера, целей управления данными в компании.

Лучшие практики

Управление данными — это не только внедрение набора технологий, но и реализация некоторых практик в компании:

• Разработка стратегии извлечения выгоды. Организация определяет, как информация будет помогать в достижении целей, устанавливает KPI для нее. Строится Data Strategy Map — визуализация стратегии работы с данными в компании, отражающая их перемещение, использование в различных процессах.
• Data Governance — основа управления данными. Назначаются их владельцы, устанавливаются правила доступа, хранения, использования информации в соответствии с законами, потребностями бизнеса. Применение разработанных политик должно быть под контролем, а также может быть автоматизировано в системах компании.
• Автоматическая проверка качества. Как уже отмечалось, на основе некачественной информации нельзя принимать решения. Поэтому автоконтроль достоверности, полноты, актуальности, отсутствия дубликатов — необходимая мера для эффективной работы с данными.
• Защита. Этот компонент связан не только с соблюдением законов страны, но и с поддержанием доверия клиентов. Лучше внедрить принцип «нулевого доверия» (Zero Trust) — концепцию, основанную на отсутствии доверия и предоставлении сотрудникам минимального доступа к информации, необходимого для решения задач.
• Внедрение каталогизации. Сотрудники должны знать, где и какие данные доступны, насколько им можно доверять — для этого нужны каталоги с метаданными и реализованным поиском по ним.

Вызовы и решения в Data Management

Почти каждая компания сталкивалась с проблемами в работе с информацией — рассказываем об их последствиях, а также способах решения:

• Отделы компаний часто имеют собственные задачи и источники данных. В традиционных моделях IT-сотрудники поддерживают хранилища, а также подготавливают информацию отдельно для каждого сценария использования. Но сейчас, когда объем данных непрерывно растет, это приводит к тому, что сотрудники не знают, какая информация есть у компании, где ее найти, как использовать. Data Management предлагает решение этой проблемы: внедрение единого каталога с фиксацией метаданных, а также создание централизованного или гибридного хранилища. Это нужно, чтобы вся информация была доступна в одном месте.
• Когда компания внедряет Data Driven подход, в ней появляется больше сотрудников, связанных с аналитикой информации. Но не каждый из них имеет технические навыки для работы с хранилищами, сложными структурами данных и так далее. В таком случае информация теряет свою ценность, так как аналитики не могут выполнять свои задачи. Data Management предполагает внедрение BI-инструментов, а также понятной политики документации и именования данных.
• Сейчас многие страны мира защищают данные граждан: вносят изменения в законы и предъявляют более строгие требования к компаниям. В первую очередь это распространяется на персональные, конфиденциальные данные. Из-за этого сотрудники не всегда знают, как и какую информацию они могут использовать, а IT-отдел может быть не готов к быстрой смене стандартов. Data Management подразумевает внедрение классификации данных (персональные, публичные и т. д.), автоматизацию отслеживания их использования, а также разработку политики доступа к ним.

В совокупности эти меры повышают продуктивность сотрудников, экономят финансовые ресурсы бизнеса.

Будущее Data Management

С развитием области управления данными будут появляться новые технологии и методы работы с ними:

• ИИ, машинное обучение. Искусственный интеллект сможет автоматизировать решение рутинных задач, например стандартизацию форматов, устранение несоответствий, заполнение пропусков в больших объемах информации. Алгоритмы машинного обучения будут отслеживать качество в режиме реального времени, автоматически помечать приватную информацию и выявлять закономерности, говорящие о нарушении стандартов.
• Переход в облако. Этот процесс уже начат, но в будущем станет более массовым — компании будут стремиться отказаться от владения инфраструктурой в пользу простого масштабирования и гибкости систем.
• Децентрализация владения и управления информацией. Все чаще она будет рассматриваться как объект, которым владеют и пользуются разные отделы. То есть вся информация не должна проходить через IT-специалистов: вместо этого каждое подразделение несет ответственность за свою область данных, соблюдая политику всей организации.

Заключение

Сейчас грамотное управление данными необходимо компаниям для поддержания гибкости, повышения устойчивости на рынке, а также для сокращения затрат и рисков.

Оно подразумевает не только сбор и хранение информации, но также контроль ее качества, безопасности, доступности. Компании, внедрившие эти компоненты, могут быстрее принимать решения, находить новые возможности, а также улучшать опыт клиентов.