Сверка, контроль качества и аудит

1. Контур сверки

1. Source-to-Raw: количество записей и контрольные суммы по источнику.
2. Raw-to-Staging: проверка очистки, дублей, отбраковки.
3. Staging-to-Mart: сверка агрегатов и KPI-витрин.
4. Mart-to-Dashboard: контроль идентичности цифр между витриной и UI.

2. Ежедневные автоматические проверки

1. Record Count Check: сравнение объёмов данных с ожидаемым диапазоном.
2. Freshness Check: контроль задержки поступления данных.
3. Null/Range Check: обязательные поля и допустимые диапазоны.
4. Duplicate Check: дубли по бизнес-ключу.
5. Referential Integrity: корректность ссылок на справочники.
6. Dictionary Mismatch Check: расхождения кода/названия модели и дилерских справочников.

3. Формулы сверки

1. Сверка количества:

count_delta_pct = |count_source - count_mart| / count_source

2. Сверка сумм:

amount_delta_pct = |sum_source - sum_mart| / sum_source

3. Сверка KPI:

kpi_delta_pct = |kpi_calc_reference - kpi_calc_mart| / kpi_calc_reference

Пороги:

1. count_delta_pct <= 0.1%
2. amount_delta_pct <= 0.2%
3. kpi_delta_pct <= 0.1%

4. Контроль формул и версий

1. Для каждой метрики хранится metric_code, formula_text, version, effective_from.
2. Изменение формулы возможно только через утверждённый change request.
3. После изменения формулы выполняется ретро-пересчёт на контрольном интервале.

5. Процедура расследования расхождений

1. Зафиксировать KPI/витрину/период и величину отклонения.
2. Проверить входной слой (source/raw) на полноту и дубли.
3. Проверить логи трансформаций и фильтров в staging/core.
4. Пересчитать KPI вручную на сэмпле данных.
5. Сравнить результат с витриной и UI.
6. Выполнить автоисправление типовых ошибок и повторную сверку.
7. Передать спорные случаи на ручной контроль data steward.
8. Отправить дилеру обратную связь по обнаруженным проблемам.
9. Зафиксировать root cause и корректирующее действие.

6. Аудит и трассировка

1. Любой KPI в UI должен иметь ссылку на источник витрины.
2. Для каждой цифры должен быть доступен путь: KPI -> SQL -> таблица -> источник.
3. Логи изменений формул и pipeline хранятся не менее 12 месяцев.

7. Чек-лист релиза аналитики

1. Все DQ-проверки зелёные на 30 дней истории.
2. SLA обновления выполняется без деградации.
3. KPI сверены с эталонными расчётами.
4. Алерты корректно срабатывают на тестовых кейсах.
5. Пользовательские роли и доступы проверены.