126 банок в ряду, 1012 — на паллете: как мы внедрили подсчет банок в реальном времени для компании «Вастега»

Проверочное видео помогло убедиться, что наше решение подойдет. По записи мы сделали разметку и обучили нейронную сеть. Когда банки на видео посчитались корректно и без ошибок, продемонстрировали работу клиенту.

Заказчик увидел реальный подсчет продукции. Посмотрев тестовый пример, клиент понял, каким будет итоговый результат, и убедился в работоспособности решения.

Всю эту подготовку мы проводим бесплатно, до подписания договора и получения аванса.

Установка видеосчетчика проходила в несколько этапов. Заказчик установил камеры над зоной подсчета и записал ролики с движением продукции. Мы взяли кадры из видео, разметили их и обучили нейросеть распознавать банки.

Разметка объектов — трудоемкая, утомительная и скучная работа. Но и самая важная, потому что благодаря ей машина научилась отличать поддоны от банок.

Мы скрупулезно обвели рамкой каждую баночку в кадре так, чтобы в нее помещалась только одна крышка и не попадала соседняя банка. Иначе это были бы плохие данные для обучения алгоритма.

Каждой рамке присвоили класс «Банка» и проверили, как считаются изделия. Когда все было готово, загрузили программу на сервер заказчика. После этого заказчик начал отслеживать ошибки в подсчетах и присылать их нам.

Кроме неподвижных банок в кадре, были и другие сюрпризы на проекте.

Обнуление счетчика

Обычно компании внедряют видеосчетчик для контроля и учета выпущенной продукции. Алгоритм беспристрастно ведет статистику, например, сколько яиц или батонов хлеба было произведено за смену, месяц или год. Однако нашему заказчику подсчет изделий понадобился для другой цели.

Поддон наполняется банками примерно за 10 минут. В одном ряду стоит 126 или 127 банок — в зависимости от слоя. Всего слоев на паллете собирается 8, а банок — 1012. Считать количество банок нужно в каждом ряду. Когда поддон заполняется и уезжает, счетчик должен обнуляться. Заказчику не нужны исторические данные о посчитанных изделиях в прошлом месяце. Ему нужно начинать подсчет заново каждые 10 минут.

Обычно для такой задачи используют QR-код. Сотрудник показывает в камеру лист А4 с кодом и счетчик сбрасывается.

Примерно неделя ушла на внедрение QR-кодов в рабочий процесс. Заказчик присылал видео, мы тестировали подсчеты и настраивали обнуление. Операторы приклеили лист с кодом на картонку и должны были показывать его на камеру после каждой заполненной паллеты.

Однако решение оказалось крайне неудобным:

— у сотрудников и без того большая загрузка, они могут банально забыть про картонку;

— код нужно вручную разместить в зоне, где работает тяжелый станок — были сомнения в безопасности.

В целом картонка с кодом выглядела лишней на производстве. Тогда мы пошли другим путем. В алгоритм нейросети к классу «Банка» добавили класс «Поддон» и научили его определять пустые паллеты. В результате QR-коды стали не нужны. Теперь, как только в кадре появляется новый поддон, алгоритм его распознает и обнуляет счетчик.

Ложные срабатывания

После запуска счетчика на производстве заказчик столкнулся с ложными срабатываниями. Причина оказалась в устройстве станка, который привозит банки на поддон.

Магнитная плита, несущая банки, сверху закреплена круглыми толстыми болтами. Когда она попадает в зону подсчета, камера принимает эти болты за банки, которые тоже надо посчитать.

Проблему решили нестандартно. Чтобы крепеж не был сверху похож на банки, сотрудники заказчика закрыли его квадратными колпачками. В результате алгоритм перестал видеть болты и ошибаться.

Коварный гофрокартон

Каждый ряд банок на паллете сверху накрывается картонной прокладкой. Она нужна для безопасной транспортировки: дополнительный слой опоры снижает риск механических повреждений продукции. Бывает, что гофрокартон используется несколько раз и тогда на нем остаются следы прошлой партии изделий.

Камера, установленная над станком, иногда принимала круглые отпечатки на картоне за настоящие банки и тоже считала их. Чтобы исключить эти ошибки, нужно было научить нейронную сеть отличать следы от реальных банок.

Вместе с Александром, сотрудником заказчика, мы записывали специальные постановочные видео. Александр ставил банки на картон в разных местах, двигал их палкой вправо-влево, а мы делали скриншоты и дополнительно обучали алгоритм.