Karometr
Архитектура

Сервис интеграции данных

Приём, валидация и нормализация входных данных.

Сервис интеграции данных

Назначение

  1. Загружает данные из DMS/CRM/ERP/API и файлов.
  2. Валидирует формат и бизнес-правила.
  3. Нормализует справочники и ключи.
  4. Публикует события для аналитики в RabbitMQ.
  5. Поддерживает первичную историческую загрузку при подключении нового дилера.
  6. Работает в суточном окне загрузки 23:00-04:00.

Хранение

  • Raw слой: исходные данные
  • Staging слой: очищенные и типизированные данные

Контроль качества

  1. Проверка полноты, дублей и диапазонов.
  2. Формирование отчёта качества загрузки.
  3. Автоматическое выявление расхождений по справочникам и автоисправление типовых ошибок.
  4. Передача спорных кейсов на ручной контроль и канал обратной связи с дилером.