Поделиться
Студент НГУ создал интеллектуального робота-манипулятора для автоматического сбора томатов в промышленных теплицах
Интеллектуального робота-манипулятора для автоматического сбора томатов в промышленных теплицах, отличающий спелые плоды от несозревших, создал студент Факультета информационных технологий Новосибирского государственного университета Антон Власенко. Его робот способен анализировать время созревания различных сортов томатов и собирать только спелые плоды. Недозревшие он оставляет на кустах и возвращается к ним по мере созревания. В настоящее время молодой исследователь проводит тестирование своего устройства в домашних условиях, в дальнейшем планируются промышленные испытания на объектах тепличного комбината «Толмачевский», о чем уже достигнута предварительная договоренность. Об этом CNews сообщили представители НГУ.
«Для анализа состояния плодов и принятия решений мы использовали алгоритмы компьютерного зрения. Также в систему заложены ультразвуковые датчики. Они помогают роботу оценивать расстояние до объектов и избегать столкновений с ними. Чтобы манипулятор, снимая томаты с ветвей, случайно не раздавил их, мы снабдили устройство датчиками давления, которые регулируют силу сжатия. Интересный момент связан с самим алгоритмом «time to harvest» (время собирать урожай). Мы не просто классифицируем томат на «зеленый» или «красный», а пытаемся оценить, сколько дней осталось до оптимального сбора. Для этого берем данные по цветовым каналам и насыщенности. На их основе система прогнозирует время сбора плодов. Это позволит не только собирать урожай «здесь и сейчас», но и планировать, когда именно отправлять робота к определенному кусту. Наш робот-манипулятор определяет не просто цвет томата в целом, а делит его изображение на сетку, как шахматную доску. Каждую клетку анализирует отдельно с учетом сорта плода, разделяя участки красного, зеленого или желтого цветов. Таким образом система понимает: плод спелый, частично спелый или пока зеленый и далее прогнозирует оптимальное время для сбора плодов», — объяснил Антон Власенко.
Для детекции объектов молодой исследователь в своей разработке применил основную нейросеть YOLOv8 (Ultralytics). Она находит ограничивающие рамки томатов в кадре. Программное обеспечение робота написано на Python. Библиотека компьютерного зрения OpenCV (cv2) решает несколько задач — чтение видеопотока с камеры, преобразование изображения (HSV, LAB), создание цветовых масок. Численные вычисления — средние значения каналов, операции с массивами, подсчет количества пикселей в масках, — производятся с применением библиотеки NumPy. Контроллер Orange pi 5 обеспечивает принятие решений на основе распознавания и работу шаговых двигателей и драйверов управления. Благодаря этому манипулятор получает координаты томата из YOLO, пересчитывает в углы для сервоприводов и далее срывает плод.
Сам манипулятор изготовлен методом 3D печати. Он состоит из редуктора, сегментов «руки», кронштейнов и захвата. Всего в общей сложности было изготовлено 115 деталей. После завершения печати каждая из них подвергалась тщательной пост-обработке. Значительную часть этой работы выполнял второй участник проекта — студент Сибирского государственного университета геосистем и технологий Яков Губарев. Необходимо было на каждой детали удалить поддержки, вручную отшлифовать контактные поверхности, просверлить монтажные отверстия под крепеж и проверить точность посадочных мест.
«Работая над распечаткой деталей манипулятора, мы столкнулись с серьезной проблемой. Он представляет собой довольно крупную конструкцию — если полностью вытянуть его «руку», ее длина составит около 1,5 метра. Имеющийся в нашем распоряжении принтер с такой задачей справиться не мог. Стали искать варианты, и выяснилось, что печать уже готовых 3D-моделей обойдется нам дороже нового принтера, обладающего необходимыми нам возможностями. Поэтому нам пришлось приобрести новый 3D-принтер», — рассказал Антон Власенко.
В настоящее время манипулятор собран, и молодым исследователям предстоит корректная настройка его движения, а затем сборка мобильной платформы, которая позволит роботу перемещаться между рядами в теплицах. Далее можно будет перейти к пилотным испытаниям в реальных условиях. В будущем Антон Власенко защитит магистерскую диссертацию, в рамках которой он и реализует свой проект. Также он планирует выйти с ним на конкурс студенческих стартапов.
«Идея создать робот-манипулятор для выполнения данной задачи у меня возникла на хакатоне ТРК. Одним из его треков было создание небольшого робота, который с помощью компьютерного зрения будет собирать определенные виды плодов. Это задание было несложным — надо было сделать так, чтобы робот только коснулся выбранного им плода. В дальнейшем мы решили, что, и правда, неплохо было бы создать робота, который собирал бы томаты в промышленных теплицах. Пообщавшись с бывшим директором тепличного комбината «Толмачевский» Сергеем Евгеньевичем Ложниковым, мы узнали, что потребность в автоматических сборщиках урожая действительно существует. Сейчас этот процесс производится вручную, но рабочих рук не хватает, что становится для тепличных комбинатов серьезной проблемой. Наша идея создать робота, который выполнял бы данную задачу, нашла поддержку, и мы приступили к работе — сначала изучили существующие аналоги, а потом стали думать, какую архитектуру применить, чтобы правильнее осуществить сбор томатов, а также предусмотреть дальнейшее развитие. В дальнейшем мы планируем приспособить нашего сборщика томатов и для других овощных культур», — сказал Антон Власенко.
Короткая ссылка
