Представляем Ultralytics Agents: создавай рабочие процессы визуального ИИ быстрее

Обучение качественной модели компьютерного зрения — лишь часть пути. Следующая задача — решить, что должно происходить после прогноза модели: сохранить изображение, запросить дополнительный контекст, оповестить команду или собрать для проверки пример с низкой уверенностью.

Раньше команды создавали такую оркестрацию с помощью отдельных скриптов и интеграций. Ultralytics Agents переносит ее на визуальный холст, помогая превращать прогнозы в практические действия с меньшим объемом индивидуальной разработки.

Доступный в Ultralytics Platform, Agents связывает изображения, модели Ultralytics YOLO, развертывания, условия, языковые модели, наборы данных и действия в повторно используемых визуальных рабочих процессах.

Что такое Ultralytics Agents?#

Agents позволяют визуально проектировать и запускать рабочие процессы компьютерного зрения. Добавляй блоки на холст, соединяй этапы и задавай, что должно происходить, когда изображение соответствует определённому условию.

В рабочем процессе можно использовать официальную модель YOLO26, модель, обученную в твоём рабочем пространстве, или существующее развёртывание Platform. Затем можно фильтровать предсказания по количеству объектов класса или уровню уверенности, отправлять выбранные изображения в модель «зрение — язык», собирать их в набор данных, отправлять уведомления в канал Slack или отображать результат.

С помощью Agents ты можешь:

• Создавай визуально: соединяй модели, условия и действия, не создавая весь рабочий процесс вручную с нуля.
• Сосредоточься на важном: обрабатывай только изображения, которые соответствуют заданным тобой критериям.
• Объединяй визуальный интеллект и языковые возможности: используй YOLO, чтобы определить важные объекты, а затем запрашивай у модели «зрение — язык» дополнительный контекст.
• Превращай предсказания в действия: сохраняй нужные изображения, отправляй условные уведомления в Slack или передавай результаты на следующий этап рабочего процесса.
• Связывай данные с результатами работы в production: собирай неопределённые или важные изображения для проверки и дальнейшей разработки моделей.
• Изучай реализацию: просматривай код Python, сгенерированный на основе визуального рабочего процесса.

Вместо того чтобы останавливаться на вопросе «Что обнаружила модель?», команды могут ответить на более важный вопрос: «Что должно произойти дальше?»

От обнаружения к принятию решений#

Для многих систем ИИ компьютерного зрения требуются разные инструменты и пользовательские интеграции. Модель генерирует предсказания, логика приложения оценивает их, другая система сохраняет нужные входные данные, а отдельная интеграция отправляет уведомления.

Agents объединяет эти этапы в одном визуальном рабочем процессе.

Например, команда на производстве может запустить обученную модель для проверки продукции, определить, превышает ли дефект заданный порог, сохранить изображение для проверки и отправить уведомление в канал для операционной команды. Команда логистики может собирать предсказания с низким уровнем уверенности, чтобы находить пробелы в обучающих данных. Команда по безопасности может использовать YOLO для обнаружения человека в закрытой зоне, а затем попросить модель «зрение — язык» описать общую сцену.

Рабочий процесс следует заданным пользователем условиям, поэтому понятно, почему каждый последующий этап запускается или не запускается.

Используй Ultralytics YOLO вместе с моделями «зрение — язык»#

Модели YOLO эффективно обнаруживают, классифицируют и подсчитывают объекты на изображениях. Модели «зрение — язык» могут дополнить результат интерпретацией общего визуального контекста на естественном языке.

Agents позволяет эффективно объединять эти возможности. YOLO может служить первым фильтром, чтобы рабочий процесс обращался к модели «зрение — язык» только тогда, когда изображение соответствует нужному условию.

Например, рабочий процесс может:

1. Запустить YOLO26 на изображении.
2. Проверить, обнаружен ли хотя бы один человек.
3. Отправить подходящие изображения в выбранную модель «зрение — язык».
4. Попросить её описать сцену.
5. Показать полученное описание.

Если условие не выполнено, этап описания не запускается. Так команды лучше контролируют, какие изображения проходят дальше по рабочему процессу и когда используются вызовы внешних моделей.

Начни с редактируемого шаблона рабочего процесса#

В Agents есть шаблоны, которые помогают быстро превратить идею в работающий визуальный рабочий процесс ИИ.

• Мониторинг YOLO → VLM: используй YOLO для выбора нужных изображений, а затем попроси модель «зрение — язык» описать их.
• Сбор неопределённых обнаружений: фильтруй предсказания по уровню уверенности и собирай изображения с низкой уверенностью в набор данных для проверки.
• Захват и оповещение: сохраняй изображение и отправляй уведомление в Slack, когда выполняется условие обнаружения.

Шаблоны — это практическая отправная точка, а не готовое неизменное решение. Команды могут выбирать собственные изображения, модели, развёртывания, условия, запросы, целевые наборы данных и интеграции.

Пользователи также могут просматривать код Python, сгенерированный на основе рабочего процесса, сочетая скорость визуальной разработки с прозрачностью, необходимой техническим командам для понимания реализации.

Замкни цикл между развёртыванием и улучшением модели#

Изображения из реальных условий могут выявить ситуации, которые отсутствовали в обучающих данных или были представлены в них недостаточно. Новые условия эксплуатации, меняющийся внешний вид объектов и неопределённые обнаружения могут указывать на возможности улучшить модель.

Agents помогает командам превращать такие наблюдения в практический цикл работы с данными:

1. Запускай изображения через модель Ultralytics YOLO или развёртывание Platform.
2. Фильтруй результаты по классу или уровню уверенности.
3. Собирай выбранные исходные изображения в целевой набор данных.
4. Проверяй и размечай изображения в Ultralytics Platform.
5. Переобучай и развёртывай модель, используя данные из реальных условий.

Изображения, собранные с помощью Agents, попадают в раздел train целевого набора данных без разметки и готовы к проверке в редакторе аннотаций. Команды могут размечать эти примеры и использовать их при подготовке следующей версии модели.

Так становится проще перейти от обнаружения сложного примера к подготовке более качественных обучающих данных.

Создавай рабочие процессы для реальных задач#

Agents может поддерживать рабочие процессы в разных отраслях и для разных задач:

• Производство: сохраняй возможные дефекты для проверки и уведомляй команды контроля качества, когда выполняются заданные условия.
• Логистика: собирай неопределённые обнаружения контейнеров, транспортных средств или оборудования, чтобы улучшить охват набора данных.
• Розничная торговля: фильтруй изображения по обнаруженным классам или их количеству и передавай нужные результаты для дальнейшей обработки.
• Безопасность и охрана: обнаруживай людей или объекты в заданных ситуациях, прежде чем запрашивать дополнительный контекст сцены.
• Разработка наборов данных: находи примеры с низким уровнем уверенности и собирай их в отдельный набор для проверки.

Каждый рабочий процесс может направлять результаты одного условия на несколько действий. Например, одно и то же подходящее изображение можно сохранить в набор данных и одновременно отправить сообщение в Slack, чтобы сохранить свидетельства и уведомить ответственных за проверку.

От визуального прототипа к прозрачному коду Python#

Визуальные конструкторы рабочих процессов ускоряют эксперименты, но техническим командам также важно видеть, что именно выполняется.

Agents позволяет просматривать код Python, сгенерированный на основе рабочего процесса. Так удобство визуального холста сочетается с прозрачностью, необходимой разработчикам для понимания лежащей в основе реализации.

Команды могут протестировать небольшой рабочий процесс в рамках общей пробной версии или выбрать выделенные ресурсы развёртывания Platform для больших наборов данных, длительных запусков и моделей, обученных в рабочем пространстве.

Начни создавать рабочие процессы в Agents#

Agents от Ultralytics помогает командам выйти за рамки отдельных предсказаний и создавать связанные визуальные рабочие процессы ИИ. Объединяя YOLO, модели «зрение — язык», настраиваемые условия, наборы данных и действия на одном холсте, Agents ускоряет переход от предсказания к практическому результату.

Сейчас Agents доступны в рамках раннего доступа. Переключись на личное рабочее пространство и включи ранний доступ в разделе Settings > Profile. Это личная настройка, в том числе при работе в командном пространстве.

Затем открой Agents на боковой панели, начни с шаблона или создай собственный рабочий процесс на холсте Agents. Описание поддерживаемых блоков, условий, вариантов выполнения и настройки смотри в документации Ultralytics Agents.