Ultralytics Agents 소개: 비전 AI 워크플로를 더 빠르게 구축하세요

강력한 컴퓨터 비전 모델을 학습하는 것은 여정의 일부일 뿐입니다. 다음 과제는 모델이 예측을 수행했을 때 이미지 저장, 추가 맥락 요청, 팀 알림, 검토를 위한 불확실한 예시 수집 중 무엇을 해야 할지 결정하는 것입니다.

과거에는 팀이 별도의 스크립트와 통합을 사용해 이러한 오케스트레이션을 구축했습니다. Ultralytics Agents는 오케스트레이션을 시각적 캔버스에 구현하여, 팀이 맞춤 개발을 줄이면서 예측을 실용적인 작업으로 전환하도록 지원합니다.

Ultralytics Platform에서 사용할 수 있는 Agents는 이미지, Ultralytics YOLO 모델, 배포, 조건, 언어 모델, 데이터셋, 작업을 재사용 가능한 시각적 워크플로로 연결합니다.

Ultralytics Agents란 무엇인가요?#

Agents는 컴퓨터 비전 워크플로를 설계하고 실행할 수 있는 시각적 방법을 제공합니다. 캔버스에 블록을 추가하고 각 단계를 연결한 다음, 이미지가 특정 조건을 충족할 때 수행할 작업을 정의하세요.

워크플로에서는 공식 YOLO26 모델, 워크스페이스에서 학습한 모델 또는 기존 Platform 배포를 사용할 수 있습니다. 그런 다음 클래스 수나 confidence를 기준으로 예측을 필터링하고, 선택한 이미지를 비전-언어 모델로 보내거나, 데이터셋에 수집하거나, Slack 채널에 알림을 보내거나, 결과를 표시할 수 있습니다.

Agents를 사용하면 다음을 수행할 수 있습니다.

• 시각적으로 구축: 처음부터 전체 워크플로를 수동으로 만들지 않고도 모델, 조건, 작업을 연결할 수 있습니다.
• 주의 집중: 정의한 기준을 충족하는 이미지만 처리합니다.
• 비전 및 언어 지능 결합: YOLO를 사용해 중요한 대상을 식별한 다음, 비전-언어 모델에 추가 맥락을 요청합니다.
• 예측을 작업으로 전환: 관련 이미지를 저장하고, 조건부 Slack 알림을 보내거나, 결과를 다음 워크플로 단계로 전달합니다.
• 실제 운영 인사이트를 데이터에 연결: 검토와 향후 모델 개발을 위해 불확실하거나 중요한 이미지를 수집합니다.
• 구현 내용 확인: 시각적 워크플로에서 생성된 Python 코드를 확인합니다.

팀은 “모델이 무엇을 감지했나요?”라는 질문에서 멈추지 않고, 더 가치 있는 질문인 “다음에는 무엇을 해야 하나요?”에 답할 수 있습니다.

감지에서 의사결정으로 나아가기#

많은 비전 AI 시스템에는 여러 도구와 맞춤형 연결이 필요합니다. 모델이 예측을 생성하고, 애플리케이션 로직이 예측을 평가하며, 다른 시스템이 관련 입력을 저장하고, 별도의 통합 기능이 알림을 보냅니다.

Agents는 이러한 단계를 하나의 시각적 워크플로에 통합합니다.

예를 들어 제조 팀은 학습된 검사 모델을 실행하고, 결함이 선택한 임계값을 충족하는지 확인한 뒤, 검토를 위해 이미지를 저장하고 운영 채널에 알릴 수 있습니다. 물류 팀은 낮은 confidence의 감지 결과를 수집해 학습 데이터의 공백을 파악할 수 있습니다. 안전 팀은 YOLO로 제한 구역에 있는 사람을 감지한 다음, 비전-언어 모델에 더 넓은 장면의 설명을 요청할 수 있습니다.

워크플로는 사용자가 설정한 조건을 따르므로 각 후속 단계가 실행되거나 실행되지 않는 이유를 명확히 알 수 있습니다.

Ultralytics YOLO와 비전-언어 모델 함께 사용하기#

YOLO 모델은 이미지 내 객체의 위치 파악, 분류 및 개수 계산에 효과적입니다. 비전-언어 모델은 더 넓은 시각적 맥락을 자연어로 해석해 제공할 수 있습니다.

Agents를 사용하면 이러한 기능을 효율적으로 결합할 수 있습니다. YOLO를 첫 번째 필터로 사용하면 이미지가 필요한 조건을 충족할 때만 워크플로에서 비전-언어 모델을 호출할 수 있습니다.

예를 들어 워크플로에서 다음 작업을 수행할 수 있습니다.

1. 이미지에 YOLO26을 실행합니다.
2. 사람이 한 명 이상 감지되었는지 확인합니다.
3. 조건에 맞는 이미지를 선택한 비전-언어 모델로 보냅니다.
4. 장면을 설명하도록 요청합니다.
5. 결과 설명을 표시합니다.

조건을 충족하지 않으면 설명 단계가 실행되지 않습니다. 이를 통해 팀은 워크플로를 거치는 이미지를 더 효과적으로 제어하고 외부 모델 호출 시점을 관리할 수 있습니다.

편집 가능한 워크플로 템플릿으로 시작하기#

Agents에는 팀이 아이디어에서 작동하는 시각적 AI 워크플로까지 빠르게 진행할 수 있도록 돕는 템플릿이 포함되어 있습니다.

• YOLO → VLM 모니터: YOLO로 관련 이미지를 식별한 후, 비전-언어 모델에 이미지 설명을 요청합니다.
• 불확실한 감지 결과 수집: confidence를 기준으로 예측을 필터링하고, 검토를 위해 불확실한 이미지를 데이터셋에 수집합니다.
• 캡처 및 알림: 감지 조건이 충족되면 이미지를 저장하고 Slack 알림을 보냅니다.

템플릿은 고정된 해결책이 아니라 실용적인 출발점을 제공합니다. 팀은 자체 이미지, 모델, 배포, 조건, 프롬프트, 대상 데이터셋 및 통합 기능을 선택할 수 있습니다.

사용자는 워크플로에서 생성된 Python 코드를 확인할 수도 있어, 시각적 개발의 속도와 구현을 이해하는 데 필요한 기술 팀의 투명성을 함께 확보할 수 있습니다.

배포와 모델 개선 간의 순환 구조 완성#

실제 환경의 이미지는 학습 중 누락되었거나 충분히 반영되지 않은 조건을 드러낼 수 있습니다. 새로운 환경, 변화하는 객체의 외형, 불확실한 감지 결과는 모두 모델 개선 기회를 나타낼 수 있습니다.

Agents는 팀이 이러한 관찰을 실행 가능한 데이터 순환 구조로 전환하도록 지원합니다.

1. 실행: Ultralytics YOLO 모델 또는 Platform 배포를 통해 이미지를 처리합니다.
2. 필터링: 클래스 또는 confidence 조건을 사용해 결과를 필터링합니다.
3. 수집: 선택한 원본 이미지를 대상 데이터셋에 수집합니다.
4. 검토 및 어노테이션: Ultralytics Platform에서 이미지를 검토하고 어노테이션합니다.
5. 재학습 및 재배포: 실제 입력 데이터를 반영해 모델을 재학습하고 재배포합니다.

Agents를 통해 수집된 이미지는 대상 데이터셋의 train 분할에 라벨이 지정되지 않은 상태로 저장되며, 어노테이션 편집기에서 검토할 수 있습니다. 팀은 이러한 표적 예시에 라벨을 지정해 다음 모델 반복 개발에 활용할 수 있습니다.

이를 통해 까다로운 예시를 식별한 시점부터 더 나은 학습 데이터를 준비할 때까지의 경로가 한층 직접적으로 이어집니다.

실제 성과를 중심으로 워크플로 구축하기#

Agents는 다양한 산업과 사용 사례의 워크플로를 지원할 수 있습니다.

• 제조: 검토를 위해 잠재적 결함을 캡처하고, 정의된 조건이 충족되면 품질 팀에 알립니다.
• 물류: 데이터셋 범위를 개선하기 위해 컨테이너, 차량 또는 장비와 관련된 불확실한 감지 결과를 수집합니다.
• 소매: 감지된 클래스나 개수를 기준으로 이미지를 필터링하고 관련 결과를 후속 작업으로 전달합니다.
• 안전 및 보안: 추가 장면 맥락을 요청하기 전에 지정된 상황에서 사람이나 객체를 감지합니다.
• 데이터셋 개발: confidence가 낮은 예시를 찾아 집중 검토 세트로 수집합니다.

각 워크플로는 하나의 조건에서 여러 작업으로 분기할 수 있습니다. 예를 들어 동일한 조건을 충족하는 이미지를 데이터셋에 저장하는 동시에 Slack 메시지를 트리거하면, 팀은 증거를 보존하면서 검토 담당자에게 알릴 수 있습니다.

시각적 프로토타입에서 투명한 Python 코드까지#

시각적 워크플로 빌더는 실험을 가속할 수 있지만, 기술 팀은 실행 중인 작업을 확인할 수 있어야 합니다.

Agents를 사용하면 워크플로에서 생성된 Python 코드를 확인할 수 있습니다. 이를 통해 시각적 캔버스의 접근성과 기반 구현을 이해하는 데 필요한 개발자 관점의 투명성을 연결합니다.

팀은 공유 체험 환경에서 소규모 워크플로를 테스트하거나, 대규모 데이터셋, 장시간 실행 및 학습된 워크스페이스 모델을 위해 전용 Platform 배포 리소스를 선택할 수 있습니다.

Agents로 구축 시작하기#

Ultralytics Agents는 팀이 개별 예측을 넘어 서로 연결된 시각적 AI 워크플로를 구축하도록 지원합니다. YOLO, 비전-언어 모델, 구성 가능한 조건, 데이터셋 및 작업을 하나의 캔버스에 통합하여 예측에서 실질적인 성과까지 더 빠르게 이어지도록 합니다.

Agents는 현재 Early access를 통해 이용할 수 있습니다. 개인 워크스페이스로 전환한 다음 Settings > Profile에서 Early access를 활성화하세요. 팀 워크스페이스에서 작업하는 경우에도 이는 개인 설정으로 적용됩니다.

그런 다음 사이드바에서 Agents를 열고, 템플릿으로 시작하거나 Agents 캔버스에서 자체 워크플로를 구축하세요. 지원되는 블록, 조건, 실행 옵션 및 설정 안내는 Ultralytics Agents 문서에서 확인하세요.