Сегментация изображений

Сегментация изображений - это фундаментальная техника компьютерного зрения (КВ), которая заключается в разделении цифрового изображения на несколько отдельных областей или сегментов. Основная цель - присвоить каждому пикселю изображения метку класса, по сути, упростив представление изображения до чего-то более осмысленного и удобного для анализа машинами. В отличие от обнаружения объектов, которые идентифицируются с помощью прямоугольных ограничительных рамок, сегментация изображений обеспечивает гораздо более детальное понимание содержимого изображения на уровне пикселей, определяя точную форму объектов. Такая точность крайне важна для задач, требующих детального пространственного восприятия.

Как работает сегментация изображений

Алгоритмы сегментации изображений работают путем изучения изображения пиксель за пикселем и группирования пикселей, обладающих определенными характеристиками - например, цветом, интенсивностью, текстурой или пространственным расположением, - в сегменты. Ранние методы опирались на такие техники, как пороговое выделение, выращивание областей и кластеризация(K-Means, DBSCAN). Однако современные подходы в значительной степени используют глубокое обучение (ГОО), в частности конволюционные нейронные сети (КНС). Эти нейронные сети изучают сложные иерархические характеристики непосредственно из обучающих данных, чтобы выполнить классификацию по пикселям. Типичным результатом является маска сегментации - изображение, в котором значение каждого пикселя соответствует метке класса, к которому он принадлежит, визуально выделяя точные границы объектов или регионов. Для построения и обучения таких моделей обычно используются такие фреймворки, как PyTorch и TensorFlow.

Типы сегментации изображений

Задачи сегментации изображений могут различаться в зависимости от того, как обрабатываются объекты и классы:

• Семантическая сегментация: Присваивает каждому пикселю заранее определенную категорию (например, "автомобиль", "дорога", "небо"). Она не делает различий между разными экземплярами одного и того же класса объектов. Например, все автомобили будут иметь одну и ту же метку.
• Сегментация экземпляра: Идет на шаг дальше семантической сегментации, определяя и очерчивая каждый отдельный экземпляр объекта на изображении. Каждый отдельный автомобиль получает уникальный идентификатор или маску, даже если они принадлежат к одному классу. Это особенно полезно при необходимости подсчета или отслеживания отдельных объектов.
• Паноптическое сегментирование: Сочетает в себе семантическую сегментацию и сегментацию по экземплярам. Она присваивает метку класса каждому пикселю (как семантическая сегментация) и однозначно идентифицирует каждый объект (как сегментация экземпляров). Это обеспечивает комплексное, единое понимание сцены.

Различение сегментации изображений и смежных терминов

• Сегментация изображений по сравнению с обнаружением объектов: При обнаружении объектов вокруг них рисуются ограничительные рамки, указывающие их местоположение и класс. Сегментация изображения представляет собой маску на уровне пикселей, точно определяющую форму каждого объекта или области, что позволяет получить более подробную информацию, чем простая рамка.
• Сегментация изображений по сравнению с классификацией изображений: Классификация изображений присваивает единую метку всему изображению (например, "содержит кошку"). Сегментация изображений присваивает метку каждому пикселю изображения, идентифицируя несколько объектов или областей и их формы.
• Сегментация изображений и распознавание изображений: Распознавание изображений - это более широкий термин для задач, в которых искусственный интеллект идентифицирует объекты, людей, места и т. д. на изображениях. Сегментация изображений - это особый тип распознавания изображений, ориентированный на разделение на уровне пикселей.

Применение в реальном мире

Детальный анализ, обеспечиваемый сегментацией изображений, позволяет использовать их в различных областях:

• Анализ медицинских изображений: Сегментация очень важна для выявления и выделения опухолей, органов или аномалий на компьютерных томограммах, магнитно-резонансных томограммах и рентгеновских снимках. Например, модели Ultralytics YOLO могут точно сегментировать опухоли, помогая радиологам в диагностике и планировании лечения путем количественного определения точного размера и формы пораженных участков, что зачастую более информативно, чем простое определение их наличия с помощью ограничивающей рамки. Такой уровень детализации значительно повышает эффективность различных методов медицинской визуализации.
• Автономные транспортные средства: Самоуправляемые автомобили в значительной степени полагаются на сегментацию, чтобы понимать окружающую обстановку на детальном уровне. Например, сегментация дороги, разметки, пешеходов, других транспортных средств и препятствий позволяет автомобилю безопасно перемещаться. Знание точной зоны, пригодной для движения (сегментация дороги), и зоны, не пригодной для движения (тротуары, барьеры), имеет решающее значение для планирования маршрута и достижения более высокого уровня автоматизации вождения.
• Анализ спутниковых снимков: Используется для классификации почвенно-растительного покрова (выявление лесов, водоемов, городских территорий), мониторинга вырубки лесов и сельскохозяйственных приложений, таких как мониторинг урожая(искусственный интеллект в сельском хозяйстве).
• Производство: Выявление дефектов или проверка качества на сборочных линиях.
• Розничная торговля: Анализ выкладки на полках или мониторинг товарных запасов.

Сегментация изображений и ультралитература YOLO

Модели Ultralytics YOLO, такие как YOLOv8 и YOLO11, обеспечивают современную производительность для задач сегментации экземпляров, балансируя между скоростью и точностью для выводов в режиме реального времени. Фреймворк Ultralytics упрощает процесс обучения пользовательских моделей сегментации на таких наборах данных, как COCO, или специализированных наборах данных, таких как сегментация деталей автомобиля или трещин. Такие инструменты, как Ultralytics HUB, предлагают оптимизированную платформу для управления наборами данных, обучения моделей(доступно облачное обучение) и их развертывания. Вы можете изучить документацию по задаче сегментации для получения подробной информации о ее выполнении или воспользоваться руководствами по сегментации с помощью предварительно обученных моделей YOLOv8 или сегментации изображений с помощью YOLO11 в Google Colab.