Знакомство с Ultralytics Agents: создавай рабочие процессы визуального ИИ быстрее

Обучение надежной модели компьютерного зрения — это лишь часть пути. Следующая задача — решить, что должно происходить, когда эта модель делает предсказание: сохранить изображение, запросить больше контекста, предупредить команду или собрать неопределенный пример для проверки.

Исторически команды создавали эту оркестрацию с помощью отдельных скриптов и интеграций. Ultralytics Agents переносит ее на визуальный холст, помогая командам превращать предсказания в практические действия с меньшим объемом кастомной разработки.

Доступные в Ultralytics Platform, агенты связывают изображения, модели Ultralytics YOLO, развертывания, условия, языковые модели, датасеты и действия в повторно используемые визуальные рабочие процессы.

Что такое Ultralytics Agents?#

Агенты предоставляют визуальный способ проектирования и запуска рабочих процессов компьютерного зрения. Добавляй блоки на холст, соединяй каждый шаг и определяй, что должно происходить, когда изображение отвечает определенному условию.

Рабочий процесс может использовать официальную модель YOLO26, модель, обученную в твоем рабочем пространстве, или существующее развертывание Platform. Затем он может фильтровать предсказания по количеству классов или уверенности, отправлять выбранные изображения в визуально-языковую модель, собирать их в датасет, уведомлять канал Slack или отображать результат.

С помощью агентов ты можешь:

• Создавать визуально: соединяй модели, условия и действия без ручного создания полного рабочего процесса с нуля.
• Концентрировать внимание: обрабатывай только те изображения, которые соответствуют определенным тобой критериям.
• Сочетать визуальный и языковой интеллект: используй YOLO для определения того, что важно, прежде чем запрашивать у визуально-языковой модели дополнительный контекст.
• Превращать предсказания в действия: сохраняй релевантные изображения, отправляй условные оповещения в Slack или передавай результаты на следующий шаг рабочего процесса.
• Связывать производственные инсайты с данными: собирай неопределенные или важные изображения для проверки и дальнейшей разработки модели.
• Инспектировать реализацию: просматривай Python, сгенерированный из твоего визуального рабочего процесса.

Вместо того чтобы останавливаться на вопросе «Что обнаружила модель?», команды могут ответить на более ценный вопрос: «Что должно произойти дальше?»

Перейди от обнаружения к принятию решений#

Многие системы визуального ИИ требуют использования нескольких инструментов и кастомных подключений. Модель генерирует предсказания, логика приложения оценивает их, другая система сохраняет релевантные входные данные, а отдельная интеграция отправляет уведомления.

Агенты объединяют эти шаги в один визуальный рабочий процесс.

Например, производственная команда может запустить обученную модель инспекции, проверить, соответствует ли дефект выбранному порогу, сохранить изображение для проверки и отправить оповещение в операционный канал. Команда логистики может собирать детекции с низкой уверенностью для выявления пробелов в данных для обучения. Команда безопасности может использовать YOLO для обнаружения человека в запретной зоне перед тем, как запросить у визуально-языковой модели описание более широкой сцены.

Рабочий процесс следует условиям, заданным пользователем, что делает понятным, почему каждый последующий шаг выполняется или не выполняется.

Используй модели Ultralytics YOLO и визуально-языковые модели вместе#

Модели YOLO эффективны в локализации, классификации и подсчете объектов на изображениях. Визуально-языковые модели могут добавлять интерпретацию более широкого визуального контекста на естественном языке.

Агенты позволяют эффективно сочетать эти возможности. YOLO может действовать в качестве первого фильтра, позволяя рабочему процессу вызывать визуально-языковую модель только тогда, когда изображение отвечает требуемому условию.

Например, рабочий процесс может:

1. Запустить YOLO26 на изображении.
2. Проверить, был ли обнаружен хотя бы один человек.
3. Отправить совпадающие изображения в выбранную визуально-языковую модель.
4. Попросить ее описать сцену.
5. Отобразить результирующее описание.

Если условие не выполнено, шаг описания не запускается. Это дает командам больший контроль над тем, какие изображения проходят через рабочий процесс и когда используются вызовы внешних моделей.

Начни с редактируемого шаблона рабочего процесса#

Агенты включают шаблоны, которые помогают командам быстро перейти от идеи к работающему визуальному ИИ-рабочему процессу.

• Монитор YOLO → VLM: используй YOLO для определения релевантных изображений, прежде чем запрашивать у визуально-языковой модели их описание.
• Сбор неопределенных детекций: фильтруй предсказания по уверенности и собирай неопределенные изображения в датасет для проверки.
• Захват и оповещение: сохраняй изображение и отправляй уведомление в Slack при выполнении условия обнаружения.

Шаблоны предоставляют практическую отправную точку, а не фиксированное решение. Команды могут выбирать собственные изображения, модели, развертывания, условия, промпты, целевые датасеты и интеграции.

Пользователи также могут инспектировать Python, сгенерированный рабочим процессом, сочетая скорость визуальной разработки с прозрачностью, необходимой техническим командам для понимания реализации.

Замкни цикл между развертыванием и улучшением модели#

Реальные изображения могут выявить условия, которые отсутствовали или были представлены недостаточно во время обучения. Новые среды, меняющийся внешний вид объектов и неопределенные детекции могут указывать на возможности улучшить модель.

Агенты помогают командам превратить эти наблюдения в действенный цикл данных:

1. Запускай изображения через модель Ultralytics YOLO или развертывание Platform.
2. Фильтруй результаты с помощью условий по классу или уверенности.
3. Собирай выбранные исходные изображения в целевом датасете.
4. Проверяй и аннотируй изображения в Ultralytics Platform.
5. Переобучай и переразвертывай с использованием данных, основанных на реальных входных данных.

Изображения, собранные через агентов, поступают неразмеченными в обучающую выборку целевого датасета, готовые к проверке в редакторе аннотаций. Команды могут размечать эти целевые примеры и использовать их для направления следующей итерации модели.

Это создает более прямой путь от выявления сложного примера к подготовке лучших данных для обучения.

Создавай рабочие процессы вокруг реальных результатов#

Агенты могут поддерживать рабочие процессы в различных отраслях и вариантах использования:

• Производство: фиксируй возможные дефекты для проверки и уведомляй команды контроля качества при выполнении заданных условий.
• Логистика: собирай неопределенные детекции с участием контейнеров, транспортных средств или оборудования для улучшения покрытия датасета.
• Розничная торговля: фильтруй изображения на основе обнаруженных классов или количеств и отправляй релевантные результаты в последующие действия.
• Безопасность и охрана: обнаруживай людей или объекты в указанных сценариях перед запросом дополнительного контекста сцены.
• Разработка датасета: находи примеры с низкой уверенностью и собирай их в целевой набор для проверки.

Каждый рабочий процесс может разветвляться из одного условия в несколько действий. Например, одно и то же совпадающее изображение может быть сохранено в датасет и заблокировать сообщение в Slack, помогая командам сохранять доказательства и одновременно уведомляя людей, ответственных за их проверку.

От визуального прототипа к понятному Python#

Конструкторы визуальных рабочих процессов могут ускорить экспериментирование, но техническим командам также необходима видимость того, что запуск происходит корректно.

Агенты позволяют пользователям инспектировать Python, сгенерированный из рабочего процесса. Это соединяет доступность визуального холста с прозрачностью, необходимой разработчикам для понимания базовой реализации.

Команды могут протестировать небольшой рабочий процесс с помощью общей пробной версии или выбрать выделенные ресурсы развертывания Platform для больших датасетов, более длительных запусков и обученных моделей рабочего пространства.

Начни создание с агентами#

Ultralytics Agents помогает командам выйти за рамки изолированных предсказаний и создавать связанные визуальные ИИ-рабочие процессы. Объединяя YOLO, визуально-языковые модели, настраиваемые условия, датасеты и действия на одном холсте, агенты создают более быстрый путь от предсказания к практическому результату.

Агенты в настоящее время доступны через ранний доступ. Переключись на свое персональное рабочее пространство и включи ранний доступ в разделе Settings > Profile. Это персональная настройка, в том числе при работе в командном рабочем пространстве.

Затем открой Agents на боковой панели, начни с шаблона или создай собственный рабочий процесс на холсте Agents. Изучи поддерживаемые блоки, условия, параметры выполнения и руководство по настройке в документации Ultralytics Agents.