Arenadata выпустила релиз ADH Cloud 1.4.0

Группа Arenadata представила версию 1.4.0 модуля ADH Cloud в составе платформы Arenadata Hyperwave (ADH)

Ключевой фокус релиза - зрелость работы со Spark в Kubernetes: добавлен spark‑оператор для полного жизненного цикла приложений, планировщик YuniKorn и shuffle‑сервис Celeborn.

Celeborn переносит высоконагруженные операции во внешние хранилища (HDFS, Ozone, S3), позволяя запускать Spark на узлах без локальных дисков. YuniKorn обеспечивает гибкое распределение ресурсов между пользователями и командами; веб‑интерфейс поддерживает Kerberos, SPNEGO и LDAP. Для анализа завершенных приложений внедрен Spark History Server.

Расширены возможности мониторинга: реализована интеграция с VictoriaMetrics и Prometheus, добавлена поддержка PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape. Безопасность усилена за счет механизма предварительно созданных секретов Kubernetes для Trino, Impala, Spark, YuniKorn и Celeborn. Обновлен Arenadata Cloud CLI — команда adc list дает быстрый доступ к состоянию инфраструктуры.

Arenadata Hyperwave - универсальная платформа для хранения, обработки и анализа данных, поддерживающая паттерны Data Lake, Lakehouse и Data Mesh. Продукт включен в реестр российских программ и сертифицирован по требованиям безопасности информации.

Источник: новости Аренадата