Блок данных проекта Карометр

1. Обзор набора данных

Исходные файлы хранятся в репозитории по пути public/date/ и доступны для скачивания.

В каталоге собраны операционные выгрузки по продажам, сделкам, складским остаткам и резервам. Основу аналитики составляют CSV-файлы, часть из них дублируется в XLSX.

Основные файлы данных

Дополнительные файлы

2. Периоды и объёмы

1. wag.csv: 54 368 строк, период 01.02.2017 — 31.12.2020.
2. Отчёт по сделкам 2017-2021гг CSV.csv: 54 368 строк.
3. wag_st.csv: 9 235 строк, период 2017 — 2021, суммарное количество 38 731.
4. sale_data.csv: 18 517 строк, период 2010-01-05 — 2021-02-01.
5. pet.csv: 3 814 строк, период 01.02.2013 — 31.12.2022.
6. dealers.csv: 4 записи.

3. Основные доменные поля

3.1 Сделки и продажи

Используемые поля:

• дата сделки / дата продажи;
• марка, модель, код модели (модель = семейство);
• тип операции (Контракт, Расторжение);
• код дилера и площадка.

Поля, которые не используются:

• статус сделки — техническая информация, не требуется.

3.2 Резервы и склад

Резервирование — это не контракт. Резервы и контракты — два отдельных события (три типа событий: контракт, расторжение, остаток). Используемые поля:

• дата;
• зарезервировано;
• снято с резерва;
• остаток.

3.3 Справочник дилеров

Текущие поля в dealers.csv: id, name, region, email, import_file, site_userid.

Требуемые поля для полноценного справочника:

• торговое наименование;
• адрес;
• бренд;
• дата заключения дилерского контракта;
• дата расторжения дилерского контракта (нужна для корректного расчёта охвата рынка);
• дилерский номер согласно контракту с производителем.

4. Ключевые факты по содержанию

1. В sale_data.csv доминируют записи типа Контракт (14 886) и Расторжение (3 630).
2. В wag.csv лидирующие бренды по объёму: VW, SKODA, Audi, Mercedes-Benz.
3. В wag.csv обнаружено 15 уникальных кодов дилеров и 130 моделей.
4. В pet.csv суммарные резервы: 131 423, снятия с резерва: 53 757, средний остаток: 15.22.

5. Связи между таблицами

1. dealers.csv.id связывается с полями кода дилера в операционных таблицах.
2. sale_data.csv используется как нормализованный факт продаж/расторжений.
3. wag.csv и Отчёт по сделкам... используются как детальный контур сделок.
4. wag_st.csv — готовые агрегаты для витрин и контроля сверки.
5. pet.csv — отдельный контур динамики резерва/остатка.

6. Риски качества данных

1. Разные кодировки (UTF-8 и Windows-1251) и разделители (; и ,).
2. Дублирующие источники в CSV/XLSX (нужна политика приоритета).
3. Разные горизонты времени по таблицам.
4. Возможные пропуски в статусах и датах закрытия сделок.

7. Правила подготовки перед загрузкой в контур аналитики

1. Принудительно приводить файлы к UTF-8 и фиксировать разделитель.
2. Нормализовать названия колонок в единый словарь полей.
3. Проводить дедупликацию по бизнес-ключу (дата, дилер, марка, модель, тип операции).
4. Валидировать диапазоны дат и числовые поля (резервы, остатки, количества).
5. Вести журнал загрузки: источник, версия, дата, число строк, число отбракованных записей.
6. Нормализовать модель до уровня семейства (например, Audi A3) с отсечением типа кузова (Sedan, Sportback и т.п.).
7. Отдельно хранить признаки поколения и рестайлинга одной модели.

8. Использование в аналитике Карометр

1. wag.csv/Отчёт по сделкам... — расчёт индексов спроса и структуры сделок.
2. sale_data.csv — метрики воронки и доли расторжений.
3. pet.csv — анализ резерва, остатков и давления на склад.
4. wag_st.csv — быстрая сверка агрегатов по периодам.
5. dealers.csv — слой справочников и ABAC-срезы по дилерам/региону.

9. Таблицы кодов дилеров и моделей

Ниже вынесены все коды из исходных данных для отдельного справочного использования в аналитике, витринах и ABAC-срезах.

9.1 Коды дилеров и названия (wag.csv)

Уникальных кодов: 15

9.2 Коды дилеров и названия (sale_data.csv + dealers.csv)

Уникальных кодов: 3

9.3 Коды машин (wag.csv)

Уникальных кодов машин: 1187

9.4 Модели (wag.csv)

Уникальных моделей: 105