Read in English

Premise

Допустим, мы — компания, только что прошедшая первый уровень организации своих данных:

• узнали что вообще-то это делают не склеивая изолентой и рандомно создавая таблицы в базах, спредшитах, и других источниках
• узнали, что существует dbt и написали свой первый warehouse, размером в десятки-малые сотни моделей
• поняли, что раз такое чудо появилось, то надо его использовать в полный рост
• знаете про пользу автоматического тестирования софта, но вот сейчас задумались про то что данные тоже полезно тестировать
• узнали про dbt test, написали простые тесты на многие модели, увидели как это круто
• начали смотреть на свои данные и искать в них недостатки, неполноту, нарушения
• и хотите теперь понять — как этими данными управлять, тестировать их, отслеживать инфраструктуру вашего пайплайна
• коротко говоря, хотите с первого уровня перейти на второй
• деньги имеют значение. Тратить $1000+ в месяц вы не хотите

Road to Level 2

Короткий путь

• Подготовить набор тестов в dbt
  • Использовать пакет Meta Testing для установки требований к тестам
  • Подключить slidoapp/dbt-coverage: One-stop-shop for docs and test coverage of dbt projects.
  • Имплементировать базовые generic тесты dbt-моделей
  • Имплементировать singular тесты dbt-моделей
• Добавить запуск dbt build в CI
• Подключить сборку dbt docs в CI
• Подключить генерацию отчетов Elementary
  • Сначала настроить триал платного варианта (месяц бесплатно, потом $600 в месяц)
  • GitHub - elementary-data/dbt-data-reliability
  • Install Elementary dbt package - Elementary
  • Elementary OSS - Elementary
• Подключить генерацию отчетов re_data
• Реализовать хостинг документации дата-платформы (dbt docs, re_data, elementary) с помощью re_cloud?
• Добавить сообщения о проваленных тестах в discord-канал
• Добавить сенсор в Dagster с алертами о freshness
  • Dagster Docs

Дополнительные решения

• Убедиться что у всех моделей есть primary keys, использовать суррогатные ключи используя макро из dbt-utils, иметь not_null&unique тест на них
• Подключить dbt-labs/dbt-project-evaluator
• Описать внешних потребителей в виде exposures, интегрировать dbt и metabase
  • [GitHub - gouline/dbt-metabase: dbt + Metabase integration
• Реализовать загрузку результатов тестов в warehouse
  • GitHub - brooklyn-data/dbt_artifacts: A dbt package for modelling dbt metadata
  • установить store_failures в true
  • создать metadata-файл для тестов, который является seed. Хранить там название теста, владельца, важность теста, и другие дополнительные поля (см. #^dbt-article )
  • далее, данные агрегируются средствами dbt, объединяя результаты запуска тестов с метаданными. Из этой базовой таблицы строятся всевозможные views, которые предоставляют дешборды для owners, по severity и другим срезам
  • Добавить дешборд про test success rate over time
  • Добавить кастомные дешборды в Metabase на основе данных, экспортированных из dbt
• Попробовать интеграцию с Metaplane в CI (бесплатный тариф)
  • dbt Core
• Подключить data diff в CI систему
  • GitHub - datafold/data-diff: Compare tables within or across databases
• Развернуть Datahub и интегрировать его со всеми элементами системы
  • A Metadata Platform for the Modern Data Stack | DataHub
  • Интеграция Dagster и Datahub
  • MariaDB | DataHub
  • BigQuery | DataHub
  • dbt | DataHub
  • Google Cloud Storage | DataHub
  • Metabase | DataHub

Сервисы Data Observability

• DataHub — A Metadata Platform for the Modern Data Stack
  • OS-решение с опцией cloud за деньги
  • Каталог ваших ассетов из разных источников с lineage
  • Централизированное место для просмотра метаданных, владельцев, документации, тестов и т.п.
  • Выглядит promising, но молодой (версия 0.13)
  • Множество интеграций, хорошая поддержка
  • Требует поддержки разработчиков для конфигурации и использования (писать yaml конфиги для алертов и т.п.)
• Elementary Data — dbt native data observability
  • от 600 в месяц
  • довольно простой обзор результатов запуска тестов dbt
  • column level lineage
  • интеграция с BI для lineage
  • дешборд про время затраченное на сбор моделей
  • есть бесплатная CLI-версия для генерации отчетов и отправки алертов
  • GitHub - elementary-data/elementary: The dbt-native data observability solution for data & analytics engineers. Monitor your data pipelines in minutes. Available as self-hosted or cloud service with premium features.
  • GitHub - elementary-data/dbt-data-reliability: Data anomalies monitoring as dbt tests and dbt artifacts uploader.
• Synq — Reliability Platform for business-critical data
  • в private beta
  • довольно простая, в основном - трекинг инцидентов
  • column-level lineage
  • анализ влияния на потребителей
  • система алертов с определением владельцев сломанных объектов
• Sifflet — Full Data Stack Observability for Data Engineers and Data Consumers
  • Нет информации о цене и свободной регистрации
  • Все обычные интеграции
  • Поиск по всем вашим data assets
  • Сбор метаданных и анализов со всех систем
  • Мониторинг с ML-возможностями
  • Готовый каталог стратегий мониторинга
• Bigeye — Find and fix data issues before they break your business
  • Нет свободной регистрации (только через демо)
  • Автоматический мониторинг data quality
  • Lineage на уровне колонок
  • Автоматическое определение аномалий
  • Анализ причины ошибок и управление инцидентами
  • Анализ на уровне строк — запросы для дебага проблем, информация о затронутых проблемой данных
• Metaplane — Trust the data that powers your business
  • интегрируется с dbt и metabase
  • интеграцию с dbt нельзя наладить с macos (только linux)
  • автодетект аномалий
  • умеет в column-level lineage и в целом хорошо показывает lineage (в том числе на основе истории запросов)
  • бесплатный план (10 таблиц, 3 кастомных монитора, один юзер)
  • платный $1500 в месяц (100 таблиц, 5 юзеров, column lineage)
  • есть система алертов
  • следит за отваливающимися коннекторами
  • сообщает на каких потребителей повлиял инцидент (exposures)
• Datafold — Automated testing for data engineers
  • главная фишка: сравнение непосредственно данных
  • показывает как каждое изменение кода влияет непосредственно на данные на уровне столбцов и колонок
  • показывает изменения на уровне значений ("выросло на 33%")
  • запускается в CI и делает репорты в PR
  • анализ соответствия между хранилищами (сравнить два хранилища - что они синхронизированы верно)
  • есть OS-пакет, который можно использовать самостоятельно GitHub - datafold/data-diff: Compare tables within or across databases
• Soda — Data Quality Platform, Test and deliver data that everyone can trust
  • Триал на 45 дней
  • Своя система тестов на мощном человекочитаемом языке
  • Простой но симпатичный дешборд по поводу всех чеков
  • Интеграции с dbt, airflow и всеми usual suspects
  • Система алертов (slack, email, pagerduty)
• dbt Cloud — интегрированное облачное решение для dbt
  • самое главное: позволяет иметь PR-based разработку dbt (каждая ветка отдельно)
  • может шедулить запуски сборки моделей и запускает тесты
  • есть логирование и алерты, интеграции
  • можно делать метрики, можно объединять dbt проекты в mesh
  • $100 в месяц (есть бесплатный план тоже)

Важные dbt пакеты

• dbt-labs/dbt-utils — стандартный набор дополнительных функций от dbt-labs

• calogica/dbt-expectations — большой набор тестов-макросов на все случаи data quality checks

• mjirv/dbt-datamocktool — юнит-тесты для dbt

• EqualExperts/dbt-unit-testing — макросы для юнит-тестов dbt на основе SQL

• dbt-labs/dbt-project-evaluator — контроль качества dbt-проекта в целом, в смысле соответствия практикам dbt-labs

• dbt_artifacts — пакет, который выгружает в ваш warehouse информацию о самом dbt проекте (модели, их запуски, тесты и т.п.) и генерируют витрины (marts) для их анализа. Это позволяет, например, иметь метрику затраченных ресурсов или свежести моделей.

• dbt profiler — набор макросов, генерирущих профиль таблицы: статистические показатели, отношения (relations), типы. Этот пакет можно использовать для генерации документации.

• dbt_meta_testing — пакет dbt, которым можно установить требования к тестам: что они есть, что они документированы

• gouline/dbt-metabase — интеграция dbt и Metabase

Reading List

• State of Data Quality Monitoring in 2024

  • хорошая обзорная статья

• Building a Data Platform in 2024. How to build a modern, scalable data…

  • Fivetran | Automated data movement platform и Airbyte | Open-Source Data Integration Platform | ELT tool — ведущие решения для batch выгрузки/загрузки данных
  • Confluent | Apache Kafka Reinvented for the Cloud — ведущее решение для стриминга данных
  • Debezium — CDC-решение
    • Change Data Capture это когда сами CRUD-команды базы данных используются как источник событий для синхронизации
  • About dbt Core and installation | dbt Developer Hub — незаменимый и ключевой элемент дата-платформы, в контексте слоя трансформации.
  • dbt mesh — способ объединить несколько dbt-проектов и масштабировать систему трансформации
  • Apache Airflow остается основным решением для оркестрации, вместе со своими managed-версиями:
    • What Is Amazon Managed Workflows for Apache Airflow? - Amazon Managed Workflows for Apache Airflow
    • Deliver Your Data On Time with Astronomer: The Best Place to Run Apache Airflow™
    • Prefect | Modern Workflow Orchestration и Dagster | Cloud-native orchestration of data pipelines — вдохновляющие альтернативы
  • В визуализации продолжают доминировать традиционные решения: Tableau, PowerBI, Looker, and Qlik
  • Новые платформы Sigma Computing. Business Intelligence and Analytics Solution и Welcome | Superset интересны
  • Интересен пакет Streamlit • A faster way to build and share data apps, позволяющий быстро строить интерфейсы для работы с данными на питоне
  • Reverse ETL — выгрузка данных из аналитики назад в оконечные приложения, и здесь безусловно лидирует Hightouch | Composable CDP & Reverse ETL | Activate data | Hightouch
  • Опенсурс проект DataHub и его Managed-вариант — решение для объединения метаданных разных хранилищ и систем и обеспечения observability
  • Monte Carlo | Data Reliability Delivered — система для мониторинга данных и управления инцидентами (закрытая)
  • GX: a proactive, collaborative data quality platform • Great Expectations

• The Four Pillars of Data Observability | Metaplane

  • Есть 4 столпа data observability
  • Метрики — внутренние характеристики данных. Статистика, уникальность, точность и т.п.
  • Метаданные — внешние характеристики. Объем, схема, свежесть, владелец.
  • Наследственность (Lineage) — связи внутри данных. Что зависит от чего, что получилось из чего
  • Логи — взаимодействия между машинами и между машиной и человеком. Запросы к warehouse, трансформации dbt, загрузка и выгрузка.

• 7 dbt Testing Best Practices | Datafold

  • Есть singular тесты, простые .sql файлы с select statement, которые возвращают ошибочные rows (или ничего, если тест проходит)
  • Есть generic тесты, которые можно применять к разным таблицам (типа not null у колонки)
  • Начать стоит с generic тестов, проверяющих на not_null, unique, accepted_values, relationships
  • Потом написать специфические singular тесты
  • Можно использовать dbt-expectations - библиотеку generic тестов на разные случаи жизни
    • GX: a proactive, collaborative data quality platform • Great Expectations — специальный отдельный сервис для работы с качеством данных
    • Полезные тесты expect_row_values_to_have_recent_data, expect_column_to_exist
  • Следует тестировать не только downstream модели, но и sources, включая CSV
  • Для алертов можно использовать dbt cloud, или анализировать логи (включить json-структурированные логи)
  • Тесты надо Accelerating dbt core CI/CD with GitHub actions: A step-by-step guide | Datafold

• What the heck is data diffing?! | Datafold

  • Datafold - Automated testing for data engineers — автоматизированные тесты для данных, проверяющие изменения данных в рамках CI, дающие доступ к column-level lineage
  • (price model не открывают, исключительно через звонок с их инженером, то есть видимо дорого)
  • есть бесплатный CLI-инструмент для data diff
  • Data Diff — это тестирование с помощью непосредственного сравнения данных в разных хранилищах (например: новая версия vs текущий продакшен)
  • dbt тесты не позволяют увидеть "неожиданные изменения в данных" — они по определению следят только за "ожидаемыми"
  • диффы стоит проверять при разработке, чтобы видеть как именно ваш код меняет данные
  • при деплойменте: в качестве проверки в рамках CI чтобы не зарелизить поломанное
  • во время миграций данных — для непосредственной проверки качества миграции
  • при репликациях — для контроля качества репликации

• A Simple (Yet Effective) Approach to Implementing Unit Tests for dbt Models | by Mahdi Karabiben | Towards Data Science

  • Кроме dbt тестов можно говорить также о dbt unit tests
  • Тестируемый unit — это как сами модели, так и CTE, из которых они состоят
  • Структуру модели надо стандартизировать: import CTEs, Intermediate CTEs, Final CTE
  • Тестировать надо intermediate CTEs и final CTE
  • Первый компонент системы тестирования: mock inputs в виде dbt seeds
  • Второй компонент: expected outputs, в виде тех же CSV.
  • Процесс тестирования это просто сравнение таблицы созданной из seed.input через трансформации dbt и таблицы expected outputs
  • Для непосредственно сравнения можно использовать пакет dbt_audit_helper или систему вроде Soda Core
  • Описан общий процесс системы юнит-тестирования, но реализовать его (подмену референсов на таблицы моками и сравнение с expectation) нужно будет реализовать самим

• Unit Testing · dbt-labs/dbt-core · Discussion #8275 · GitHub

  • Подробное обсуждение предлагаемого процесса Unit-тестирования в dbt core, которое запланировано выпустить в версии 1.8

• Audit_helper in dbt: Bringing data auditing to a higher level | dbt Developer Blog

  • пакет, который помогает провести аудит таблиц через сравнение данных (обычно для миграций или рефакторинга)
  • предоставляет два основных макроса: compare_queries и compare_column_values
  • compare_queries позволяет сравнить строки, исключив некоторые колонки, если нужно, и получить отчёт о совпадении данных
  • compare_column_values сравнивает значения в конкретной колонке для проверки её совместимости между хранилищами
    

• Data Observability dbt Packages | The Infinite Lambda Blog

  • Описывают стандартные пакеты codegen, utils, expectations
  • Описывают пакеты dbt-labs/dbt-project-evaluator, dbt profiler, dbt_artifacts — см. выше

• Data Observability on Steroids

  • What is re_data? — генератор отчетов о dbt-проекте, включает lineage данных, их статистические характеристики и результаты выполнения тестов
  • What is re_cloud? — хостинг отчетов dbt, включая отчеты redata, dbt docs, elementary
  • Data Observability Features Built for Today's Data Teams | Metaplane — платформа для мониторинга данных, управления инцидентами и алертинга. Якобы умеет в автоматизированный поиск аномалий.

• Data quality dimensions for better decision-making | Datafold

  • Есть семь измерений "качества данных"
  • Точность. Обычно меряют в процентах. Может падать из-за задержек, ошибок ввода, ошибок обработки
  • Полнота. Например, "у нас есть адрес 95% клиентов"
  • Консистентность. Единообразие в форматах (24.99USD vs $24.99), таймзонах. Измерять проще всего сравнивания одни и те же даные в разных отчетах.
  • Надежность. Постоянство данных, отсутствие "мельканий", регулярность. То, насколько можно доверять отдельному измерению. Для проверки можно сравнивать с независимым источником или делать повторные измерения.
  • Своевременность. Прогноз погоды на завтра будет не нужен через неделю. Если данные поступают медленно, невозможно делать качественные прогнозы. Метрика: задержка между сбором данных и моментом, когда они готовы к использованию. Можно иметь алерты по staleness.
  • Уникальность. Отсутствие (ошибочно) дублирующихся данных. Другой пример: плохо организованная версионность — две таблицы типа customers и customers_v1
  • Полезность. Субъективная характеристика того, насколько ваши модели кому-то реально полезны. Напоминает что не всегда надо строить сложные ML-модели, где можно обойтись пивот-таблицами

• dbt at Super Part 3: Observability | by Jonathan Talmi | Super.com | Medium

  • Хранить результаты запусков и другие артефакты в warehouse и использовать BI (metabase) для анализа и алертов
  • elementary-data/dbt-data-reliability
  • Добавлять в манифест модели (dbt meta) имя owner'а данных, чтобы в алертах можно было сразу тегать того, кто отвечает, например, за freshness
  • OS Python Package, от Elementary, который умеет слать уведомления в Slack / MS Teams (note: вроде можно слать в дискорд как будто в слек)
  • Elementary позволяет исследовать время запуска моделей и их стоимость

• dbt: How We Improved Our Data Quality by Cutting 80% of Our Tests | by Noah Kennedy | Better Programming

  • главный блокер хорошей системы тестирования: наблюдаемость и actionability тестов (когда они падают). Мы всё улучшили, попутно убрав 80% тестов.
  • трехшаговый процесс: детальные высококачественные тесты, агрегация результатов тестирования, построение вьюх для результатов тестов с разделением по владельцам и/или важности.
  • тесты должны явно указывать свою серьезность (severity)
  • каждый тест должен соответствовать установленным нормам RACI (кто будет чинить, кого надо информировать)
  • два класса тестов: data integrity и context-driven.
  • data integrity тесты чинят программисты, context-driven предполагают участие людей из предметной области
  • строгое название тестов (table_name__column_name__test_name) и test aliasing
  • обязательно установить store_failures в true
  • используют metadata-файл для тестов, который является seed. Там хранится название теста, владелец, важность теста, и другие дополнительные поля.
  • далее, данные агрегируются средствами dbt, объединяя результаты запуска тестов с метаданными. Из этой базовой таблицы строятся всевозможные views, которые предоставляют дешборды для owners, по severity и другим срезам

• dbt Tests. A necessary assertion to ensure the… | by Jimmy Pang | Data Panda | Medium

  • В Elementary есть дополнительные тесты для моделей
  • Указание severity для тестов, в виде пороговых значений на количество ошибок
  • Обязательно чтобы у всех моделей были primary keys + поставить тест на not_null & unique
  • Генерировать суррогатные ключи, используя макро из dbt-utils

• So you're using dbt tests—Validio is what's next in data quality validation for scalability and comprehensiveness

  • кроме warehouses (таблиц), есть и другие данные (object stores и streams), которые до warehouse могут и не доходить, а тестировать их тоже надо

Находки по пути

Здесь то, что не относится к теме тестирования, к dbt и, может быть вообще к разработке, но попалось по пути.

• Modern Business Intelligence | Better data, better decisions
• Date dimension: How to Create a Practical and Useful Date Dimension in dbt | by Gabriel Campos | Indicium Engineering | Medium
• GitHub - mckaywrigley/chatbot-ui: AI chat for every model.
• Deepnote: Analytics and data science notebook for teams. — AI-supported блокноты для работы с данными
• Hightouch | Composable CDP & Reverse ETL | Activate data | Hightouch
• Managing a dynamic dbt project at Whatnot | Whatnot Engineering
• dbt action · Actions · GitHub Marketplace · GitHub

Обсуждение в Твиттере