Это гостевой пост, написанный в соавторстве с Нафи Ахметом Тургутом, Мехметом Икбалом Озменом, Хасаном Бураком Йелем, Фатмой Нур Думлупинар Кешир, Мутлу Полатджаном и Эмре Узелем из Getir.
Гетир является пионером сверхбыстрой доставки продуктов. Технологическая компания произвела революцию в доставке «последней мили», предложив доставку продуктов за считанные минуты. Getir была основана в 2015 году и работает в Турции, Великобритании, Нидерландах, Германии и США. Сегодня Getir представляет собой конгломерат, объединяющий девять вертикалей под одним брендом.
В этой статье мы описываем комплексную систему управления персоналом, которая начинается с прогнозирования спроса с учетом конкретного местоположения, за которым следует планирование рабочей силы курьеров и распределение смен с использованием Amazon Forecast и AWS Step Functions.
В прошлом оперативные группы занимались ручным управлением персоналом, что приводило к значительной трате времени и усилий. Однако благодаря реализации нашего комплексного проекта комплексного управления персоналом они теперь могут эффективно создавать необходимые планы курьерской доставки для складов с помощью упрощенного процесса в один клик, доступного через веб-интерфейс. До начала этого проекта бизнес-команды полагались на более интуитивные методы прогнозирования спроса, которые требовали повышения точности.
Amazon Forecast — это полностью управляемый сервис, который использует алгоритмы машинного обучения (ML) для предоставления высокоточных прогнозов временных рядов. В этом посте мы описываем, как мы сократили время моделирования на 70 %, выполнив разработку функций и моделирование с помощью Amazon Forecast. Мы добились сокращения затраченного времени на 90 % при запуске алгоритмов планирования для всех складов с помощью AWS Step Functions — полностью управляемого сервиса, упрощающего координацию компонентов распределенных приложений и микросервисов с помощью визуальных рабочих процессов. Это решение также привело к повышению точности прогнозов на 90% в Турции и нескольких европейских странах.
Обзор решения
Проект сквозного управления персоналом (Проект E2E) — это масштабный проект, который можно описать тремя темами:
1. Расчет требований к курьеру
Первым шагом является оценка почасовой потребности для каждого склада, как описано в разделе «Выбор алгоритма». Эти прогнозы, созданные с помощью Amazon Forecast, помогают определить, когда и сколько курьеров потребуется каждому складу.
Исходя из пропускной способности курьеров на складах, количество курьеров, необходимое для каждого склада, рассчитывается в часовых интервалах. Эти расчеты помогают определить возможное количество курьеров с учетом установленного законом рабочего времени, что предполагает математическое моделирование.
2. Решение проблемы распределения смен.
Как только мы узнаем потребности в курьерах и узнаем другие ограничения курьеров и складов, мы сможем решить проблему назначения смен. Проблема моделируется с помощью переменных решения, определяющих назначаемых курьеров и создающих графики смен, сводя к минимуму излишки и дефициты, которые могут привести к пропущенным заказам. Обычно это задача смешанно-целочисленного программирования (MIP).
3. Использование пошаговых функций AWS
Мы используем AWS Step Functions для координации рабочих процессов и управления ими благодаря возможности параллельного выполнения заданий. Процесс назначения смен на каждом складе определяется как отдельный рабочий процесс. AWS Step Functions автоматически инициирует и контролирует эти рабочие процессы, упрощая обработку ошибок.
Поскольку этот процесс требует обширных данных и сложных вычислений, такие сервисы, как AWS Step Functions, предлагают значительное преимущество в организации и оптимизации задач. Это позволяет лучше контролировать и эффективно управлять ресурсами.
В архитектуре решения мы также используем преимущества других сервисов AWS, интегрируя их в AWS Step Functions:
На следующих диаграммах показаны рабочие процессы AWS Step Functions и архитектура инструмента переключения:
Рис. 1. Рабочие процессы AWS Step Functions
Рис. 2. Изменение архитектуры инструмента
Выбор алгоритма
Прогнозирование спроса на местоположение представляет собой начальный этап проекта E2E. Основная цель E2E — определить количество курьеров, которые будут выделены на конкретный склад, начиная с прогноза спроса на этот склад.
Этот компонент прогнозирования имеет решающее значение в рамках E2E, поскольку последующие этапы зависят от этих результатов прогнозирования. Таким образом, любые неточности прогноза могут отрицательно сказаться на эффективности всего проекта.
Целью этапа прогнозирования спроса на месте является создание прогнозов с учетом специфики страны для каждого склада, сегментированного по часам, в течение предстоящих двух недель. Первоначально ежедневные прогнозы для каждой страны формулируются с помощью моделей машинного обучения. Эти ежедневные прогнозы впоследствии разбиваются на часовые сегменты, как показано на следующем графике. Исторические данные о транзакционном спросе, информация о погоде на основе местоположения, даты праздников, рекламные акции и данные маркетинговых кампаний — это функции, используемые в модели, как показано на графике ниже.
Рисунок 3. Архитектура прогнозирования с учетом местоположения
Первоначально команда исследовала традиционные методы прогнозирования, такие как САРИМА (Сезонное авторегрессионное интегрированное скользящее среднее), АРИМАКС (авторегрессионное интегрированное скользящее среднее с использованием экзогенных переменных) и экспоненциальное сглаживание.
ARIMA (авторегрессионное интегрированное скользящее среднее) — это метод прогнозирования временных рядов, который сочетает в себе компоненты авторегрессии (AR) и скользящего среднего (MA), а также дифференциацию, чтобы сделать временной ряд стационарным.
SARIMA расширяет ARIMA за счет включения дополнительных параметров для учета сезонности временных рядов. Он включает в себя сезонную авторегрессию и сезонное скользящее среднее для выявления повторяющихся закономерностей в течение определенных интервалов, что делает его подходящим для временных рядов с сезонным компонентом.
ARIMAX основывается на ARIMA, вводя экзогенные переменные, которые являются внешними факторами, которые могут влиять на временной ряд. Эти дополнительные переменные учитываются в модели для повышения точности прогнозирования за счет учета внешних влияний, выходящих за рамки исторических значений временного ряда.
Экспоненциальное сглаживание — это еще один метод прогнозирования временных рядов, который, в отличие от ARIMA, основан на средневзвешенных значениях прошлых наблюдений. Он особенно эффективен для выявления тенденций и сезонности данных. Этот метод присваивает экспоненциально уменьшающиеся веса прошлым наблюдениям, при этом более поздним наблюдениям присваиваются более высокие веса.
Модели Amazon Forecast в конечном итоге были выбраны для сегмента алгоритмического моделирования. Широкий спектр моделей и сложные возможности проектирования функций, предлагаемые AWS Forecast, оказались более выгодными и оптимизировали использование наших ресурсов.
Были протестированы шесть алгоритмов, доступных в Forecast: сверточная нейронная сеть — квантильная регрессия (CNN-QR), DeepAR+, Prophet, непараметрические временные ряды (NPTS), авторегрессионное интегрированное скользящее среднее (ARIMA) и экспоненциальное сглаживание (ETS). Проанализировав результаты прогноза, мы определили, что CNN-QR превосходит остальные по эффективности. CNN-QR — это собственный алгоритм машинного обучения, разработанный Amazon для прогнозирования скалярных (одномерных) временных рядов с использованием причинных сверточных нейронных сетей (CNN). Учитывая доступность разнообразных источников данных на данном этапе, использование алгоритма CNN-QR облегчило интеграцию различных функций, работающих в рамках контролируемой структуры обучения. Это различие отличало его от одномерных моделей прогнозирования временных рядов и заметно повышало производительность.
Использование «Прогноза» оказалось эффективным благодаря простоте предоставления необходимых данных и указания продолжительности прогноза. Впоследствии Forecast использует алгоритм CNN-QR для генерации прогнозов. Этот инструмент значительно ускорил процесс для нашей команды, особенно в алгоритмическом моделировании. Кроме того, использование корзин Amazon Simple Storage Service (Amazon S3) для хранилищ входных данных и Amazon Redshift для хранения результатов облегчило централизованное управление всей процедурой.
Заключение
В этом посте мы показали, как проект Getir E2E продемонстрировал, как объединение сервисов Amazon Forecast и AWS Step Functions эффективно оптимизирует сложные процессы. Мы достигли впечатляющей точности прогнозов — около 90 % в странах Европы и Турции, а использование Forecast сократило время моделирования на 70 % благодаря эффективному выполнению функций проектирования и моделирования.
Использование сервиса AWS Step Functions дало практические преимущества, в частности, сократило время планирования на 90 % для всех складов. Кроме того, учитывая требования на местах, мы улучшили показатели соблюдения требований на 3 %, что помогло более эффективно распределять рабочую силу. Это, в свою очередь, подчеркивает успех проекта в оптимизации операций и предоставления услуг.
Чтобы получить дополнительную информацию о начале работы с Forecast, обратитесь к доступным ресурсам Amazon Forecast. Кроме того, чтобы получить информацию о построении автоматизированных рабочих процессов и конвейеров машинного обучения, вы можете изучить AWS Step Functions для получения подробных рекомендаций.
Об авторах
Нафи Ахмет Тургут получил степень магистра в области электротехники и электроники и работал научным сотрудником. Его целью было создание алгоритмов машинного обучения для моделирования аномалий нервной сети. Он присоединился к Getir в 2019 году и в настоящее время работает старшим менеджером по науке о данных и аналитике. Его команда отвечает за проектирование, внедрение и поддержку комплексных алгоритмов машинного обучения и решений на основе данных для Getir.
Мехмет Икбал Озмен получил степень магистра экономики и работал научным сотрудником. Область его исследований в основном заключалась в моделях экономических временных рядов, марковском моделировании и прогнозировании рецессии. Затем он присоединился к Getir в 2019 году и в настоящее время работает менеджером по науке о данных и аналитике. Его команда отвечает за оптимизацию и алгоритмы прогнозирования для решения сложных проблем, с которыми сталкиваются предприятия, занимающиеся эксплуатацией и цепочками поставок.
Хасан Бурак Ел получил степень бакалавра в области электротехники и электроники в Университете Богазичи. Он работал в Turkcell, в основном занимаясь прогнозированием временных рядов, визуализацией данных и автоматизацией сетей. Он присоединился к Getir в 2021 году и в настоящее время работает менеджером по науке о данных и аналитике, отвечая за домены поиска, рекомендаций и роста.
Фатма Нур Думлупынар Кешир получила степень бакалавра на факультете промышленной инженерии Университета Богазичи. Она работала исследователем в TUBITAK, занимаясь прогнозированием и визуализацией временных рядов. Затем в 2022 году она присоединилась к Getir в качестве специалиста по данным и работала над проектами системы рекомендаций «Математическое программирование для планирования рабочей силы».
Эмре Узель получил степень магистра в области науки о данных в Университете Коч. Он работал консультантом по науке о данных в Eczacıbaşı Bilişim, где в основном занимался алгоритмами рекомендательных систем. Он присоединился к Getir в 2022 году в качестве специалиста по данным и начал работать над проектами прогнозирования временных рядов и математической оптимизации.
Мутлу Полаткан — штатный инженер по данным в Getir, специализирующийся на проектировании и создании облачных платформ данных. Ему нравится совмещать проекты с открытым кодом и облачные сервисы.
Эсра Каябалы — старший архитектор решений в AWS, специализирующийся в области аналитики, включая хранилища данных, озера данных, анализ больших данных, пакетную потоковую передачу данных и потоковую передачу данных в реальном времени, а также интеграцию данных. Имеет 12-летний опыт разработки программного обеспечения и архитектуры. Она увлечена изучением и преподаванием облачных технологий.