Генеративный ИИ меняет перспективы развития компьютерного зрения

Генеративный AI — это область искусственного интеллекта (AI), которая создаёт новый контент, например изображения, текст или аудио, изучая закономерности в существующих данных. Благодаря последним достижениям он теперь может создавать очень реалистичный контент, часто имитирующий человеческое творчество.

Однако влияние генеративного ИИ не ограничивается созданием контента. Модели компьютерного зрения для работы в режиме реального времени, такие как модели Ultralytics YOLO, продолжают развиваться, а генеративный ИИ меняет и способы обработки и расширения визуальных данных, открывая путь к инновационным приложениям в реальных условиях.

Этот новый технологический сдвиг стал интересной темой для обсуждения на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии, организованном Ultralytics. На YV24 энтузиасты AI и лидеры отрасли собрались, чтобы обсудить последние достижения в области компьютерного зрения. Мероприятие было посвящено инновациям, эффективности и будущему решений AI для работы в реальном времени.

Одним из ключевых событий стала панельная дискуссия «YOLO в эпоху генеративного ИИ». В ней участвовали Гленн Джочер, основатель и генеральный директор Ultralytics, Цзин Цю, старший инженер по машинному обучению в Ultralytics, и Ао Ван из Университета Цинхуа. Участники обсудили влияние генеративного ИИ на компьютерное зрение и сложности создания практичных моделей ИИ.

В этой статье мы вспомним ключевые выводы дискуссии и подробнее рассмотрим, как генеративный ИИ меняет Vision AI.

Разработка моделей Ultralytics YOLO#

Наряду с Гленном Джочером, важную роль в разработке моделей Ultralytics YOLO сыграли многие талантливые инженеры. Один из них, Цзин Цю, рассказал о том, как неожиданно начал работать с YOLO. Он объяснил, что увлекся ИИ еще в колледже. Он посвятил много времени изучению этой области. Цзин Цю вспомнил, как познакомился с Гленном Джочером на GitHub и присоединился к различным проектам в области ИИ.

Продолжая мысль Цзин Цю, Гленн Джочер назвал GitHub «невероятным способом делиться работой: люди, никогда не встречавшиеся друг с другом, объединяются, чтобы помогать друг другу и вносить вклад в проекты друг друга. Это замечательное сообщество и отличный способ начать заниматься ИИ».

Рис. 1. Гленн Джочер и Цзин Цю выступают на сцене YV24.

Интерес Цзин Цю к ИИ и его работа над Ultralytics YOLOv5 помогли усовершенствовать модель. Позже он сыграл ключевую роль в разработке Ultralytics YOLOv8, где появились новые улучшения. Он назвал этот путь невероятным. Сегодня Цзин Цю продолжает совершенствовать и разрабатывать такие модели, как Ultralytics YOLO11.

YOLOv10: оптимизация для реальных условий#

Подключившись к панельной дискуссии удаленно из Китая, Ао Ван представился аспирантом. Сначала он изучал программную инженерию, но увлечение ИИ привело его к компьютерному зрению и глубокому обучению.

Впервые он познакомился со знаменитой моделью YOLO, экспериментируя с различными методами и моделями AI. Его впечатлили её скорость и точность, и это побудило его глубже изучить задачи компьютерного зрения, например обнаружение объектов. Недавно Ao Wang внёс вклад в разработку YOLOv10 — новой версии модели YOLO. В его исследовании основное внимание уделялось ускорению и повышению точности модели.

Ключевое различие между генеративным ИИ и Vision AI#

Затем участники дискуссии перешли к генеративному ИИ, и Цзин Цю отметил, что у генеративного ИИ и Vision AI совершенно разные задачи. Генеративный ИИ создает такие материалы, как текст, изображения и видео, а Vision AI анализирует уже существующие данные, главным образом изображения.

Гленн Джочер отметил, что важное различие заключается и в размере моделей. Генеративные модели ИИ огромны и часто содержат миллиарды параметров — внутренних настроек, которые помогают модели обучаться на данных. Модели компьютерного зрения гораздо меньше. Он сказал: «Самая маленькая модель YOLO примерно в тысячу раз меньше самой маленькой LLM [большой языковой модели]. То есть 3 миллиона параметров против 3 миллиардов».

Рис. 2. Панельная дискуссия о генеративном ИИ и Vision AI на YV24.

Цзин Цю добавил, что процессы обучения и развертывания генеративного ИИ и компьютерного зрения тоже сильно различаются. Для работы генеративному ИИ нужны мощные серверы. Модели вроде YOLO, напротив, созданы с расчетом на эффективность: их можно обучать и развертывать на стандартном оборудовании. Благодаря этому модели Ultralytics YOLO практичнее в реальных условиях.

Несмотря на различия, эти две области начинают сближаться. Гленн Джочер пояснил, что генеративный ИИ открывает новые возможности для Vision AI, делая модели интеллектуальнее и эффективнее.

Влияние генеративного ИИ на компьютерное зрение#

Генеративный ИИ быстро развивается, а его достижения влияют на многие другие области искусственного интеллекта, в том числе на компьютерное зрение. Далее рассмотрим интересные выводы участников дискуссии на эту тему.

Развитие аппаратного обеспечения открывает новые возможности для ИИ#

В начале дискуссии Glenn Jocher объяснил, что идеи машинного обучения существуют уже давно, но компьютеры были недостаточно мощными, чтобы воплотить их в жизнь. Для реализации идей AI требовалось более мощное оборудование.

Распространение GPU (графических процессоров) с возможностью параллельных вычислений за последние 20 лет изменило все. Благодаря этому обучение моделей ИИ стало намного быстрее и эффективнее, что позволило стремительно развиваться глубокому обучению.

Сегодня ИИ-чипы, такие как TPUs (тензорные процессоры), и оптимизированные GPU потребляют меньше энергии и при этом справляются с более крупными и сложными моделями. Благодаря этому ИИ стал доступнее и полезнее для практических задач.

С каждым новым улучшением аппаратного обеспечения генеративный ИИ и приложения компьютерного зрения становятся мощнее. Благодаря этим достижениям ИИ для работы в реальном времени становится быстрее и эффективнее и может применяться в большем числе отраслей.

Как генеративный ИИ влияет на модели обнаружения объектов#

Отвечая на вопрос о влиянии генеративного ИИ на компьютерное зрение, Цзин Цю отметил, что трансформеры — модели, помогающие ИИ сосредоточиться на самых важных частях изображения, — изменили подход ИИ к пониманию и обработке изображений. Первым важным шагом стала модель DETR (трансформер обнаружения), которая использовала этот новый подход для обнаружения объектов. Она повысила точность, но имела проблемы с производительностью и в некоторых случаях работала медленнее.

Чтобы решить эту задачу, исследователи создали гибридные модели, например RT-DETR. Эти модели сочетают свёрточные нейронные сети (CNNs), которые автоматически обучаются извлекать признаки из изображений, и трансформеры, обеспечивая баланс скорости и точности. Такой подход использует преимущества трансформеров и одновременно ускоряет обнаружение объектов.

Примечательно, что в YOLOv10 используются слои внимания на основе трансформера — части модели, которые выделяют наиболее важные области изображения, словно прожектор, и игнорируют менее значимые детали. Это повышает производительность модели.

Ао Ван также рассказал, как генеративный ИИ меняет подход к обучению моделей. Такие методы, как моделирование изображений с маскированием, помогают ИИ эффективнее обучаться на изображениях, уменьшая потребность в больших наборах данных с ручной разметкой. Благодаря этому обучение компьютерного зрения ускоряется и требует меньше ресурсов.

Будущее генеративного ИИ и Vision AI#

Еще одна ключевая идея дискуссии — возможность объединить генеративный ИИ и Vision AI для создания более функциональных моделей. Гленн Джочер объяснил, что у этих подходов разные сильные стороны, но их сочетание может открыть новые возможности.

Например, модели Vision AI, такие как YOLO, часто разбивают изображение на сетку, чтобы обнаруживать объекты. Такой подход на основе сетки может помочь языковым моделям лучше находить детали и описывать их — это задача, с которой многие языковые модели сегодня справляются с трудом. По сути, объединение этих методов может привести к созданию систем, способных точно обнаруживать объекты и понятно объяснять увиденное. Некоторые визуально-языковые модели уже умеют делать и то и другое, а таблица лидеров VLM отслеживает, насколько хорошо они обнаруживают объекты.

Рис. 3. Будущее генеративного ИИ и Vision AI. Изображение предоставлено автором.

Главные выводы#

Генеративный AI и компьютерное зрение развиваются вместе. Генеративный AI создаёт изображения и видео, а также улучшает их анализ, предлагая новые идеи, которые могут повысить точность и эффективность моделей Vision AI.

Во время дискуссии на YV24 Glenn Jocher, Jing Qiu и Ao Wang поделились мнением о том, как эти технологии формируют будущее. Благодаря более совершенному оборудованию для AI генеративный AI и Vision AI продолжат развиваться и приведут к ещё более значительным инновациям. Эти две области взаимодействуют, создавая более умный, быстрый и полезный AI для повседневной жизни.

Присоединяйся к нашему сообществу и изучи наш репозиторий GitHub, чтобы больше узнать о Vision AI. Ознакомься с вариантами лицензирования, чтобы начать проекты в области компьютерного зрения. Интересуешься такими инновациями, как ИИ в производстве или компьютерное зрение в беспилотных автомобилях? Посети страницы с нашими решениями, чтобы узнать больше.