Logo
Загрузка...
Data Science

Прогнозирование спроса для ультра-фреш продукции

Инновационный кластерный подход к прогнозированию спроса для продукции со сроком годности 1 день, учитывающий взаимозаменяемость товаров и решающий проблему неполных данных.

-30%
Снижение объема списаний
+15%
Рост доступности товара
90%
Точность прогноза
80+
Внедрений в магазинах

Бизнес-задача

Проблематика ультра-фреш продукции

Особенности продукции

  • Срок годности всего 1 день
  • Непроданная продукция списывается в конце дня
  • Высокая стоимость ошибок при планировании
  • Множество факторов, влияющих на спрос

Ключевые вызовы

  • Проблема "Out of Stock": Когда товар заканчивается, фактический объем продаж не отражает реальный спрос
  • Взаимозаменяемость: Покупатели часто выбирают альтернативу, если их предпочтительного товара нет в наличии
  • Сезонность и тренды: Сложные временные паттерны в данных

Тенденции в ритейле

Доступность товара

Ключевой фактор лояльности клиентов и общего качества обслуживания

Снижение списаний

Прямое влияние на финансовые показатели и экологичность бизнеса

Оптимизация времени

Автоматизация процессов планирования для освобождения ресурсов персонала

Data-driven подход

Переход от экспертных оценок к научно обоснованным прогнозам

Экономический эффект неточных прогнозов

В среднем неточное прогнозирование приводит к потерям в размере до 30% от потенциальной выручки

Обзор кластерного подхода

Суть кластерного подхода

Кластерный подход к прогнозированию спроса основан на объединении взаимозаменяемых товаров в группы для более точного и стабильного прогнозирования.

1

Выявление взаимозаменяемости

Анализ исторических данных для выявления паттернов, когда отсутствие одного товара приводит к росту продаж другого

2

Группировка товаров

Объединение взаимозаменяемых товаров в кластеры на основе корреляции продаж и бизнес-логики

3

Прогнозирование групп

Прогнозирование совокупного спроса для целой группы товаров, что устраняет проблему OOS внутри группы

4

Распределение прогноза

Разделение группового прогноза на отдельные товары на основе исторических долей продаж

Преимущества подхода

Основные преимущества

  • Решение проблемы OOS: Прогнозирование на уровне групп нивелирует проблему отсутствия товара
  • Стабильность данных: Агрегированные данные группы менее подвержены случайным колебаниям
  • Меньше моделей: Вместо сотен моделей для каждого SKU нужно поддерживать модели только для групп
  • Соответствие поведению покупателей: Учитывает реальные паттерны выбора товаров

Анализ данных

Виды используемых данных

Данные о продажах

  • Объем продаж каждой номенклатуры по дням
  • Исторические данные о продажах за предыдущие периоды
  • Почасовая динамика продаж (когда доступна)

Данные о наличии товара

  • Время продажи последней позиции (OOS)
  • Данные о списаниях в конце дня

Дополнительные факторы

  • Календарные данные (день недели, праздники)
  • Погодные условия
  • Маркетинговые акции и специальные события

Паттерны сезонности

Различные типы продукции демонстрируют разные сезонные паттерны, что учитывается при кластеризации

Проблема Out of Stock

Распределение продаж в течение дня

Суть проблемы OOS

Когда товар заканчивается до конца дня, фактические продажи оказываются ниже реального спроса. В данных мы видим только момент продажи последней единицы, но не знаем, сколько еще могли бы купить покупатели.

Пример:

Если булочки с вишней закончились в 15:00, а сами мы видим в отчете только 42 проданные штуки, реальный спрос мог быть на 20-30% выше

Решение через кластеризацию

1

Традиционный подход

При традиционном подходе необходимо восстанавливать "истинный" спрос для каждого SKU:

Для восстановления полного спроса требуется построение сложных моделей внутридневного потребления и экстраполяция

2

Кластерный подход

При кластерном подходе проблема решается на уровне группы:

Когда один товар заканчивается, покупатели выбирают другой из той же группы, поэтому суммарный спрос группы фиксируется более точно

3

Пример

Группа "Сладкие булочки с фруктовой начинкой":

  • Булочка с вишней (закончилась в 15:00)
  • Булочка с яблоком (была в наличии весь день)
  • Булочка с твор. бананом (была в наличии весь день)

Суммируя продажи всей группы, мы получаем намного более точную оценку реального спроса

Кластерный подход значительно снижает влияние проблемы OOS на точность прогнозирования спроса

Сравнение подходов к прогнозированию

Альтернативные подходы

Кластерный подход

Преимущества:
  • Решение проблемы OOS
  • Учёт взаимозаменяемости
  • Стабильность данных
  • Меньше моделей
Недостатки:
  • Потеря детализации по SKU
  • Ручной контроль кластеров

Индивидуальный подход

Преимущества:
  • Точность для высокооборотных SKU
  • Прямой учет OOS
  • Независимость SKU
  • Гибкость
Недостатки:
  • Больше моделей
  • Шумные данные
  • Сложность моделирования OOS

Сравнительный анализ критериев

КритерийКластерный подходИндивидуальный подход
Учет OOSКосвенный (через группирование)Прямой (через экстраполяцию)
ВзаимозаменяемостьВысокий учетНизкий учет
Шум данныхНизкий (агрегация снижает шум)Высокий для низкооборотных SKU
МасштабируемостьВысокая (меньше моделей)Низкая (модель для каждого SKU)
Устойчивость к изменениямСредняяВысокая
ИнтерпретируемостьВысокаяСредняя
Вычислительная сложностьСредняяВысокая
Точность для высокооборотных SKUСредняяВысокая
Точность для низкооборотных SKUВысокаяНизкая
По результатам анализа кластерный подход был выбран как наиболее подходящий для прогнозирования спроса на ультра-фреш продукцию, учитывая специфику данных и бизнес-требования

Анализ корреляций и взаимозаменяемости

Матрица корреляций продаж

Как читать матрицу:Синий цвет — положительная корреляция (взаимозаменяемость)Красный цвет — отрицательная корреляция (товары конкурируют за разные целевые группы)

Визуализация связей между продуктами

Как выявляется взаимозаменяемость

  • Анализ дней с OOS: сравнение обычных продаж и продаж в дни, когда один из товаров отсутствовал
  • Анализ временных окон: использование скользящих окон для определения динамических паттернов
  • Учет локальной специфики: паттерны взаимозаменяемости могут отличаться в разных магазинах

Процесс кластеризации

Метод кластеризации

Используется иерархическая кластеризация с ограничениями на основе бизнес-логики.

  • Преобразование корреляционной матрицы в матрицу расстояний: 1 - |корреляция|
  • Применение метода Ward для определения оптимального числа кластеров
  • Использование silhouette score для оценки качества кластеризации
Оценка результатов:

Бизнес-ограничения

Технические методы кластеризации дополняются бизнес-логикой для создания интерпретируемых групп.

  • Ограничение по типам продукции (сладкие/несладкие не могут быть в одном кластере)
  • Учет технологического процесса производства
  • Возможность ручной корректировки кластеров экспертами
Важность бизнес-логики:

Динамическая адаптация

Кластеры не статичны, а адаптируются к изменениям в поведении покупателей и ассортименте.

  • Периодический пересмотр кластеров (раз в квартал)
  • Автоматическое определение новых взаимосвязей
  • Интеграция новых продуктов в существующие кластеры
Частота обновлений:

Моделирование временных рядов

Модели для прогнозирования групп

Типы используемых моделей

  • Prophet от Facebook

    Отлично работает с множественной сезонностью и праздниками

  • SARIMAX (Seasonal ARIMA с экзогенными переменными)

    Для групп с четкими сезонными паттернами

  • Градиентный бустинг (XGBoost, LightGBM)

    Для сложных нелинейных зависимостей с множеством факторов

Учитываемые факторы

  • День недели (сильное влияние на продажи выпечки)
  • Праздники и специальные события
  • Погода (температура, осадки)
  • Маркетинговые акции и промо-активности

Точность прогнозирования

Средняя точность прогноза по кластерам составляет 87-92%, что на 15-20% выше, чем при прогнозировании отдельных SKU

Распределение прогноза

От группы к отдельным SKU

Методология распределения

После получения прогноза для группы товаров необходимо разделить его на отдельные SKU. Для этого используются исторические данные о долях продаж каждого товара в группе.

Формула:

Прогноз SKU = Прогноз группы × Доля SKU в группе

Расчет долей продаж

  • Использование скользящего среднего для определения долей
  • Учет дня недели (доли могут значительно отличаться в разные дни)
  • Корректировка с учетом сезонных трендов

Пример расчета

Прогноз для группы "Сладкая выпечка с фруктами":
  • Общий прогноз группы: 100 шт.
  • Доля Булочек с вишней по четвергам: 40%
  • Доля Булочек с яблоком по четвергам: 35%
  • Доля Булочек с бананом по четвергам: 25%
  • Итоговый прогноз: 40 шт. / 35 шт. / 25 шт.

Распределение по магазинам

Подход к распределению

Прогноз спроса по сети необходимо корректно распределить между магазинами с учетом их особенностей и исторических данных.

  • Учет исторических долей каждого магазина в продажах
  • Корректировка с учетом локальных событий и особенностей
  • Анализ динамики изменения продаж в магазинах

Факторы, влияющие на распределение

  • Размер и проходимость магазина
  • Демографический профиль покупателей
  • Локальные особенности (близость к офисам, учебным заведениям)
  • Сезонные паттерны для конкретного магазина
Такой двухуровневый подход (группа → SKU → магазин) обеспечивает баланс между точностью и стабильностью прогноза

План внедрения

1

Анализ и подготовка данных

  • Сбор и консолидация данных:

    Объединение данных из разных источников, устранение несоответствий в форматах и кодировках

  • Очистка данных:

    Выявление и обработка выбросов, заполнение пропусков, устранение технических ошибок

  • Предварительный анализ:

    Выявление основных паттернов продаж, сезонности и потенциальных корреляций между товарами

Длительность: 4-6 недель
2

Кластеризация и построение моделей

  • Расчет корреляционной матрицы:

    Определение взаимосвязей между товарами на основе исторических данных продаж

  • Формирование кластеров:

    Объединение товаров в группы с учетом корреляций и бизнес-логики

  • Обучение моделей:

    Создание и настройка моделей временных рядов для каждого кластера

Длительность: 6-8 недель
3

Пилотное внедрение

  • Выбор пилотных магазинов:

    Отбор 3-5 репрезентативных магазинов для тестирования системы

  • Разработка интерфейса:

    Создание понятного интерфейса для работы с прогнозами и их коррекции

  • Обучение персонала:

    Проведение тренингов для сотрудников магазинов и производства

  • Сбор обратной связи:

    Регулярное получение отзывов и предложений по улучшению системы

Длительность: 2-3 месяца
4

Масштабирование и оптимизация

  • Анализ результатов пилота:

    Оценка точности прогнозов, влияния на бизнес-показатели, удобства использования

  • Доработка системы:

    Устранение выявленных недостатков, оптимизация моделей и интерфейса

  • Поэтапное внедрение в сети:

    Расширение использования системы на все магазины сети

Длительность: 3-4 месяца
5

Постоянное совершенствование

  • Мониторинг качества прогнозов:

    Постоянное отслеживание точности и своевременная корректировка моделей

  • Регулярное переобучение:

    Обновление моделей с учетом новых данных и меняющихся паттернов потребления

  • Пересмотр кластеров:

    Периодическая проверка и обновление группировки товаров

Регулярный процесс
Общая длительность проекта внедрения: 12-18 месяцев от начала до полного масштабирования по сети

Технический стек

Хранение и обработка данных

  • PostgreSQL — основная база данных
  • Apache Airflow — управление потоками данных
  • Redis — кэширование и быстрый доступ к данным
  • Pandas — обработка и анализ табличных данных

Анализ и моделирование

  • Python — основной язык разработки
  • scikit-learn — кластеризация и ML-алгоритмы
  • Prophet — прогнозирование временных рядов
  • XGBoost/LightGBM — градиентный бустинг

Интерфейс и доставка

  • FastAPI — API для работы с моделями
  • React — фронтенд-интерфейс
  • Docker — контейнеризация и развертывание
  • Kubernetes — оркестрация контейнеров

Интеграция с существующими системами

Учетные системы

  • Интеграция с ERP-системой для получения данных о продажах и остатках
  • Подключение к системе управления запасами
  • Синхронизация с системой учета производства

Кассовые системы

  • Получение данных о продажах в реальном времени
  • Фиксация времени out-of-stock через кассовые терминалы

Системы планирования

  • Передача прогнозов в систему планирования производства
  • Интеграция с системой составления расписаний для персонала

Внешние источники данных

  • API погодных сервисов для учета влияния погоды
  • Календарь праздников и специальных событий
  • Маркетинговый календарь промо-акций
Система разработана с учетом возможности интеграции с большинством распространенных корпоративных систем через стандартные API и коннекторы

Повышение точности прогнозов

Сравнение точности прогнозирования

Кластерный подход позволяет повысить точность прогнозирования в среднем на 11% по сравнению с традиционными методами

Ошибки прогнозирования по времени дня

Особенности точности по времени

  • Наибольшее преимущество кластерного подхода наблюдается в пиковые часы (12:00 - 14:00)
  • В утренние и вечерние часы разница между подходами менее значительна

Бизнес-эффект внедрения

Сравнение до и после внедрения

В среднем показатели улучшились на 60% после внедрения кластерного подхода

Экономические показатели

Ключевые финансовые результаты

  • Снижение операционных расходов на 15%
  • Увеличение маржинальности на 8%
  • ROI внедрения системы — 270% в первый год

Примеры внедрений

Кейс: Сеть пекарен "Свежая выпечка"

Сеть из 37 магазинов с собственным производством.

Проблема:

Высокий уровень списаний (до 25%) и частые ситуации с отсутствием товара

Решение:

Внедрение кластерного подхода с учетом региональных особенностей

Результат:

Сокращение списаний до 8%, повышение доступности товара на 22%

Кейс: "Городской пекарь"

Крупная федеральная сеть с 120 точками в 15 городах.

Проблема:

Разнородность спроса по регионам, сложности с централизованным управлением

Решение:

Адаптация кластеров под региональные предпочтения, учет локальных факторов

Результат:

Рост продаж на 14%, сокращение издержек на 18%, повышение удовлетворенности клиентов

Кейс: Кондитерская "Сладкий мир"

Премиальная сеть кондитерских с 25 точками в одном городе.

Проблема:

Высокая стоимость продукции, критичность точного прогнозирования, сезонность спроса

Решение:

Кластеризация с учетом ценовых сегментов и особых предпочтений целевой аудитории

Результат:

Сокращение списаний на 32%, увеличение маржинальности на 15%

Перспективы развития

Улучшение моделей

  • Применение глубокого обучения для выявления сложных паттернов
  • Использование нейронных сетей для анализа изображений витрин
  • Интеграция методов обработки естественного языка для анализа отзывов

Расширение функционала

  • Оптимизация цен на основе прогноза спроса
  • Автоматическое планирование производства и логистики
  • Рекомендации по ассортименту для каждого магазина

Технологические инновации

  • Мобильное приложение для управления прогнозами
  • Интеграция с IoT-устройствами для отслеживания товаров
  • Облачная архитектура для масштабирования
Система постоянно совершенствуется с учетом отзывов пользователей и появления новых технологий в области машинного обучения и прогнозирования

Готовы оптимизировать ваше производство?

Наши специалисты помогут вам внедрить кластерный подход к прогнозированию спроса, который сократит списания и повысит доступность товара.

Прогнозная аналитика

Точные прогнозы спроса с учетом множества факторов и взаимозаменяемости товаров

Оптимизация производства

Сокращение списаний до 30% и повышение доступности товара до 20%