Искусственный интеллект учат готовить пиццу

Искусственный интеллект в кулинарии

О необычном проекте было рассказано в издании The Next Web. В своем блоге Итан Розенталь поделился, что когда заболеваемость коронавирусом в его городе достигла пикового уровня и всем было велено сидеть дома, он очень захотел заняться чем-то совершенно бессмысленным. В детстве дедушка научил его делать бутерброды с арахисовым маслом и бананами, и с тех пор Итан регулярно их готовит. Только вот рассчитать, как положить бананы на хлеб, чтобы они не вываливались по сторонам, ему никак не удавалось. Он давно хотел решить эту проблему и однажды подумал, что с этим ему может помочь искусственный интеллект. Ну а что? Опыт работы с компьютерными алгоритмами у Итана большой — все-таки, он работает в крупной компании, которая занимается обработкой электронных платежей.

Разработчик научил камеру распознавать еду

Первым делом программист научил камеру распознавать бананы и куски хлеба, а также оценивать их размеры. Затем он создал компьютерный алгоритм, который вычисляет, на куски какой толщины нужно разрезать банан и на какое место ломтика хлеба нужно класть каждый кусок. На изображении ниже видно, каким образом камера с машинным зрением видит ингредиенты бананово-арахисового бутерброда и как он советует их расположить на ломтике хлеба. При этом используется не весь банан, а только та часть, которая необходима для заполнения всей поверхности хлеба.

Правильная нарезка банана и расположение кусков на поверхности хлеба

Для чего все это нужно?

Сейчас в «Додо Пицце» действует три программы онлайн-обучения — для управляющих, менеджеров и кассиров. В планах «оцифровать» обучение на все должности, начиная от стажера.

Что дал eLearning компании? Во-первых, позволил систематизировать знания — все пиццерии учатся по единым стандартам. Во-вторых, курсы у сотрудников в постоянном доступе, а тренировка не отнимает много времени. «Чтобы пройти один модуль и сделать домашку, нужно полтора часа. Я не привязана к конкретному месту. Учусь дома или прямо в пиццерии после закрытия, нужен лишь компьютер и доступ в интернет», — делится впечатлениями Евгения Еренкова.

Евгения Еренкова чаще всего проходит онлайн-курсы после работы

Отказываться от очных тренингов в «Додо Пицце» не планируют. Но eLearning помог компании сделать то, что не смогло офлайн-обучение — победить географию. «Развивать команду и расти могут даже те партнеры, которым раньше физически не удавалось отправить всех сотрудников на очные занятия, — отмечает бизнес-тренер Ольга Лютоева.

Поэтому программу для управляющих сейчас переводят на английский язык, чтобы ее смогли пройти зарубежные партнеры, например, из ресторанов Оксфорда или Брайтона. На курсы планируют записать также руководителей 15 заведений в центральной и восточной Германии, которые тоже хотят готовить пиццу из Сыктывкара.

Нейросети DBrain

CEO и соучредитель Dbrain – Дмитрий Мацкевич. Несколько лет назад он участвовал в создании чат-бота Icon8, мгновенно обрабатывающего фотографии с помощью нейронных сетей. Пользователь выбирает один из шести стилей, доступных для использования в боте – на старте проекта в 2016 году это удивляло.

Icon8 собрал 7,5 миллионов пользователей – самый популярный на тот момент проект в Telegram, удостоенный грантом от Павла Дурова. Полученный опыт Дмитрий использовал в DBrain. Компания делает ставку на нейросети и добавляет к ним технологию распределенного реестра.

DBrain представляет собой блокчейн-платформу для совместной работы над созданием «слабого» ИИ. Обучение нейросети предполагает большой объем ручного труда при разметке данных – процесс дорогой и занимает много времени. Команда придумала, как снизить стоимость создания и повысить точность нейросетей: любой человек может за деньги стать «учителем» для нейросети.

Обучать сетку очень просто – смотрим на фотографию в приложении и отвечаем, кто же на ней изображен: лисичка, котик, собачка или комок шерсти. Возможно, это самая невероятная интерпретация игры «Корова делает МУУУ».

По запросу «Додо Пиццы» на DBrain разработали приложение на основе машинного обучения, которое контролирует качество приготовления пиццы. Приложение реализовано в виде Telegram-бота, оценивающего пиццу по фотографии. Бот самостоятельно даст оценку продукту от 0 до 10 по ключевому критерию — качеству теста.

Бот работает с армией тайных покупателей – это внутреннее сообщество «Додо пиццы», насчитывающее более 50 000 человек. Рейтинг качества пиццерий формируется на основе отчетов покупателей, которые еженедельно оценивают на соответствие стандартам почти 700 пицц. Добровольцы получают за работу Додо-рубли, которыми можно оплатить пиццу при следующем заказе.

Но где же тут видеонаблюдение?

Видеонаблюдение сокращает расходы и полностью автоматизирует работу по составлению рейтинга пиццерий. Для этого достаточно предоставить приложению от Dbrain видеоданные вместо фото. С помощью камеры программа успеет проверить не 2 пиццы в неделю, как обычный человек, а 300 в день – ровно всё, что выйдет из печи.

Нейросеть Dbrain сегментировала пиццу на 50 000 фотографиях и научилась искать изъяны в каждом сегменте. Например, если на краях пиццы сетка обнаружит маленькие вздутия, которые практически не заметны человеческому глазу, то сразу «поймёт» о плохом качестве теста. При этом сеть сравнивает каждую пиццу с «идеальной» моделью, созданной на основе данных, которые предоставили тайные покупатели и эксперты, профессионально занимающиеся оценкой качества пиццы.

2019: Создание пиццы с помощью искусственного интеллекта

8 октября 2019 года «Додо Пицца» сообщила TAdviser, что с помощью искусственного интеллекта разработала рецепт пиццы, который учитывает молекулярную сочетаемость ингредиентов. Пицца получила название Open Source («Опенсорс») пицца. Рецепт пиццы и исходный код искусственного интеллекта выложены в открытый доступ и доступны для использования в любых целях, в том числе коммерческих.

«Опенсорс» пицца была разработана искусственным интеллектом, который был создан Додо совместно со специалистами по нейросетям из МФТИ и Сколтеха. Чтобы научиться находить неочевидные связи между ингредиентами и понимать, как ингредиенты сочетаются между собой, искусственный интеллект проанализировал более трехсот тысяч рецептов, а также результаты научных исследований о молекулярной сочетаемости ингредиентов.

Рецепт пиццы, придуманной искусственным интеллектом, включает десять ингредиентов — как традиционных (томатный соус, цыпленок, томаты черри, брокколи, моцарелла), так и очень необычных (дыня, груша, тунец, мята, мюсли).

«Опенсорс» пицца была создана в качестве эксперимента, чтобы проверить, возможно ли структурно описать такое субъективное явление, как вкус, и возможно ли научить искусственный интеллект находить необычные сочетания ингредиентов, которые покажутся вкусными большинству людей.

Первоначальный датасет включал около 300 000 рецептов и около 1 000 ингредиентов. Чтобы нейросеть могла работать с рецептами, их нужно было описать в математическом виде. Чтобы это сделать, разработчики представили рецепт как набор векторов ингредиентов. Вектора ингредиентов были сформированы с помощью Skip-Gram Negative Sampling (SGNS) — алгоритма word2vec, который основан на встречаемости слов в контексте.

Для создания рецептов были использованы две рекуррентные нейросети. Разработчики предположили, что в общем пространстве рецептов существует подпространство, которое отвечает за рецепты пицц, и, чтобы нейросеть научилась придумывать рецепты пицц, нужно найти это подпространство. Оно было найдено, после того как разработчики `прогнали` рецепты пицц через две рекуррентные нейросети.

После того как была решена задача создания рецепта пиццы, в модель был добавлен критерий молекулярной сочетаемости на основе результатов исследования ученых из Кембриджа и нескольких университетов США. Исследование установило, что лучше всего сочетаются ингредиенты с наибольшим количеством общих молекулярных пар. Поэтому при создании рецепта нейросеть отдавала предпочтение ингредиентам с похожей молекулярной структурой.

Рецепт «Опенсорс» пиццы учитывает молекулярную сочетаемость ингредиентов

Научившись создавать рецепт пицц, с помощью регулировки коэффициентов нейросеть может придумывать как классические рецепты (например, «Маргариту» или «Пепперони»), так и рецепты с грушей, тунцом и мятой, один из которых и стал основой для «Опенсорс» пиццы.

«Опенсорс» пицца будет доступна в ограниченном количестве (всего 500 штук) для гостей пиццерии «Додо» 10 октября 2019 года в Москве на Новослободской, 46. «Додо» выложила рецепт пиццы и исходный код искусственного интеллекта в открытый доступ, его можно использовать в любых целях, в том числе коммерческих.

маркетинговыеBBDO Moscow

Оценка вложений

Затраты на проект с Dbrain «Додо» в открытых источниках пока не публикует. Даже если считать по максимальным затратам, решение все равно выглядит выгодным – нейросеть есть не просит и не претендует на бесплатную пиццу.

Для тех, кто и так использует облачный архив для хранения данных с камеры, подключение детектора выглядит очевидным шагом. С учетом периодических обновлений следует ожидать изменений, которые расширят функции сервиса. После детектора людей как объектов, очевидно, последует детектор лиц.

Бизнес в этой истории интересует прибыль. С «Додо» выводы делать рано, однако другая компания («Интерлогика») публикует такие цифры: общая стоимость внедрения системы детекции очередей, с учетом закупки камер (на объекте их не было), составила примерно 500 000 руб. Содержание системы обходится в 30 000 рублей в месяц. За счет роста качества работы и экономии на персонале (дополнительный продавец появляется только когда нужен) средняя выручка магазина увеличилась на 7%. Система окупится менее, чем за 1 год, а дальше начнет приносить прибыль.

Детектор очередей Ivideon

Компания Ivideon использовала машинное обучение для создания детектора очереди. Детекторов придумали уже превеликое множество, но все они не лишены недостатков. Люди в очереди не ведут себя как статичные геометрические фигуры. Люди переходят с места на место, нарушая работу внешних датчиков, становятся так, чтобы сливаться с фоном или друг с другом, и мешают камере различить объекты.

Машинное обучение позволило выделить из человека «главное» – голову. Считая по головам, удалось добиться практически 100% точности определения наличия человека в кадре. А дальше достаточно просто подсчитать количество людей и прислать менеджеру уведомление о возникновении очереди для мгновенной реакции.

Менеджер получает уведомление и решает открыть еще одну кассу. Или закрывает кассу, на которой скучает ненагруженный кассир.

Другая важная часть сервиса – статистика. Детектор считает количество людей в очереди, строит графики и диаграммы, характеризующие распределение покупателей по времени. С такими данными проще оптимизировать рабочий график персонала, оценить качество маркетинговой акции или выявить недостатки оформления витрины.

Отчеты формируются в формате CSV, данные также доступны в интерфейсе личного кабинета Ivideon. Из отчета можно узнать:

• проблемные зоны (с возможностью сравнения в рамках одного или нескольких заведений);
• пиковые нагрузки, длину и динамику образования очередей;
• видеоданные по каждому скоплению людей.

С данными отчета легко пойти дальше и строить прогнозы на дни и недели вперед. Теперь легко узнать, какие кассы, в какие часы получают максимальную и минимальную нагрузку.

Ivideon также обрабатывает данные из касс по чекам. Для этого систему управления очередью нужно дополнить бесплатным модулем интеграции с 1С. Из интерфейса 1С пользователь получает видеозаписи по любым системным событиям, например печать чека, складские операции (приемка, отгрузка), возвраты товара.