Если в твоем проекте аналитическое хранилище на Greenplum уперлось в масштабирование дисков или усложнение поддержки кластера, идея переехать на современную архитектуру Lakehouse и Apache Iceberg наверняка уже не раз обсуждалась на архитектурных комитетах. Но между концепцией открытых форматов и живым продакшеном всегда стоит суровая практика: терабайты критичных данных, десятки специфических функций Greenplum и строгое требование бизнеса не прерывать формирование витрин ни на минуту.
Я отобрал этот вебинар от команды VK Tech, потому что в его программе нет абстрактных маркетинговых обещаний. Здесь разбирают именно прикладную инженерную механику переезда: как транслировать диалекты через SQLGlot, как распределить хранимые процедуры между Apache Spark и Airflow, как верифицировать контрольные суммы на старом и новом движках и безболезненно переключить продакшен через теневой запуск.
Greenplum → Lakehouse: миграция без простоя
- Организатор: VK Tech.
- Спикеры: Никита Суровегин (аналитик направления Data Services, VK Tech) и Павел Савченко (руководитель presale Data Services, VK Tech).
- Когда: 25 ноября 2026 года (среда), 16:00 по московскому времени (МСК, UTC+3).
- Формат и условия: онлайн-вебинар, бесплатное участие, требуется предварительная регистрация на платформе организатора.
- Кому полезно: дата-инженерам, архитекторам баз данных, разработчикам DWH и техническим лидерам (CTO, Head of Data, CDO), планирующим модернизацию аналитического контура.
- Что в программе:
- Архитектурный разрыв: как устроен Greenplum изнутри (координатор, сегменты, зеркала) и почему сегментное распределение не переносится в озеро данных напрямую, а требует перехода на партиционирование и сортировку Apache Iceberg.
- Сохранение и трансформация данных: перевод обычных, append-optimized и колоночных таблиц в формат Parquet, замена внешних таблиц и загрузчиков на ELT-пайплайны, прямое чтение с сегментов Greenplum через нативный коннектор CedrusData Engine.
- Перенос логики и пайплайнов: конвертация декларативного SQL и представлений через SQLGlot, раскладка процедур между SQL-движком, задачами Apache Spark и DAG-ами Apache Airflow, перенос cron-заданий, замена специфических расширений (MADlib, PostGIS, GPText).
- Безопасное переключение без простоя: организация теневого запуска (shadow run), сравнение контрольных сумм и схем на старом и новом движках, замеры производительности запросов, настройка CDC и инкрементальной догрузки перед финальным переключением.
- Интеграция с потребителями: переподключение витрин Apache Superset и аналитических систем через коннекторы Trino, настройка ролевых доступов.
- Участие: зарегистрироваться на трансляцию можно на официальной странице вебинара VK Tech.
