Ultralytics Agents 소개: 시각적 AI 워크플로를 더 빠르게 구축하세요

강력한 컴퓨터 비전 모델을 학습시키는 것은 여정의 일부에 불과합니다. 다음 과제는 모델이 예측을 수행했을 때 어떤 작업을 실행할지 결정하는 것입니다. 이미지 저장, 추가적인 컨텍스트 요청, 팀 알림, 또는 검토를 위한 불확실한 예시 수집 등이 이에 해당합니다.

기존에 팀들은 별도의 스크립트와 통합을 사용하여 이러한 오케스트레이션을 구축했습니다. Ultralytics Agents는 이를 시각적 캔버스로 가져와 팀이 맞춤형 개발을 줄이고 예측을 실용적인 작업으로 전환할 수 있도록 지원합니다.

Ultralytics Platform에서 사용할 수 있는 Agents는 이미지, Ultralytics YOLO 모델, 배포, 조건, 언어 모델, 데이터셋, 그리고 작업을 재사용 가능한 시각적 워크플로우로 연결합니다.

Ultralytics Agents란 무엇인가요?#

Agents는 컴퓨터 비전 워크플로우를 설계하고 실행하는 시각적인 방법을 제공합니다. 캔버스에 블록을 추가하고, 각 단계를 연결하며, 이미지가 특정 조건을 충족할 때 수행할 작업을 정의할 수 있습니다.

워크플로우에서는 공식 YOLO26 모델, 워크스페이스에서 학습된 모델, 또는 기존 Platform 배포를 사용할 수 있습니다. 그 후 클래스 개수나 신뢰도에 따라 예측을 필터링하고, 선택된 이미지를 비전 언어 모델로 전송하며, 데이터셋에 수집하고, Slack 채널로 알리거나, 결과를 표시할 수 있습니다.

Agents를 통해 다음을 수행할 수 있습니다:

• 시각적 구축: 전체 워크플로우를 처음부터 수동으로 만들지 않고도 모델, 조건, 그리고 작업을 연결할 수 있습니다.
• 주요 항목 집중: 사용자가 정의한 기준을 충족하는 이미지마저 처리할 수 있습니다.
• 시각 및 언어 지능 결합: 비전 언어 모델에 추가 컨텍스트를 요청하기 전에 YOLO를 사용하여 중요한 요소를 식별합니다.
• 예측을 작업으로 전환: 관련 이미지를 저장하고, 조건부 Slack 알림을 전송하며, 결과를 다음 워크플로우 단계로 전달합니다.
• 프로덕션 인사이트를 데이터에 연결: 검토 및 향후 모델 개발을 위해 불확실하거나 중요한 이미지를 수집합니다.
• 구현 검토: 시각적 워크플로우에서 생성된 Python을 확인합니다.

팀들은 "모델이 무엇을 감지했는가?"에서 멈추는 대신, "다음에는 무엇을 해야 하는가?"라는 더 가치 있는 질문에 답할 수 있습니다.

감지에서 결정으로 이동#

많은 비전 AI 시스템은 여러 도구와 맞춤형 연결을 필요로 합니다. 모델이 예측을 생성하면, 애플리케이션 로직이 이를 평가하고, 다른 시스템이 관련 입력값을 저장하며, 별도의 통합이 알림을 보냅니다.

Agents는 이러한 단계를 하나의 시각적 워크플로우로 통합합니다.

예를 들어, 제조 팀은 학습된 검사 모델을 실행하고, 결함이 선택된 임계값을 충족하는지 확인하며, 검토를 위해 이미지를 저장하고, 운영 채널에 알릴 수 있습니다. 물류 팀은 낮은 신뢰도의 감지 결과를 수집하여 학습 데이터의 공백을 파악할 수 있습니다. 안전 팀은 비전 언어 모델에 더 넓은 장면에 대한 설명을 요청하기 전에 YOLO를 사용하여 제한 구역 내의 사람을 감지할 수 있습니다.

워크플로우는 사용자가 설정한 조건을 따르므로, 각 하위 단계가 실행되는 이유와 실행되지 않는 이유가 명확해집니다.

Ultralytics YOLO와 비전 언어 모델을 함께 사용하기#

YOLO 모델은 이미지 내의 객체를 위치시키고, 분류하고, 세는 데 효과적입니다. 비전 언어 모델은 더 넓은 시각적 컨텍스트에 대한 자연어 해석을 추가할 수 있습니다.

Agents를 사용하면 이러한 기능을 효율적으로 결합할 수 있습니다. YOLO가 첫 번째 필터 역할을 하여, 이미지가 필수 조건을 충족할 때만 워크플로우가 비전 언어 모델을 호출할 수 있도록 합니다.

예를 들어, 워크플로우는 다음과 같이 구성될 수 있습니다:

1. 이미지에서 YOLO26을 실행합니다.
2. 최소 한 명의 사람이 감지되었는지 확인합니다.
3. 일치하는 이미지를 선택된 비전 언어 모델로 보냅니다.
4. 장면에 대한 설명을 요청합니다.
5. 결과로 생성된 설명을 표시합니다.

조건이 충족되지 않으면 설명 단계가 실행되지 않습니다. 이를 통해 팀은 어떤 이미지가 워크플로우를 통과할지, 그리고 외부 모델 호출이 언제 사용될지 더 세밀하게 제어할 수 있습니다.

편집 가능한 워크플로우 템플릿으로 시작하기#

Agents에는 팀이 아이디어에서 작동하는 시각적 AI 워크플로우로 빠르게 전환할 수 있도록 돕는 템플릿이 포함되어 있습니다.

• YOLO → VLM 모니터: 비전 언어 모델에 설명을 요청하기 전에 YOLO를 사용하여 관련 이미지를 식별합니다.
• 불확실한 감지 결과 수집: 신뢰도에 따라 예측을 필터링하고 검토를 위해 데이터셋에 불확실한 이미지를 수집합니다.
• 캡처 및 알림: 감지 조건이 충족되면 이미지를 저장하고 Slack 알림을 보냅니다.

템플릿은 고정된 솔루션이 아니라 실용적인 시작점을 제공합니다. 팀은 고유한 이미지, 모델, 배포, 조건, 프롬프트, 대상 데이터셋, 그리고 통합을 선택할 수 있습니다.

또한 사용자는 워크플로우에서 생성된 Python을 검토할 수 있으며, 시각적 개발의 속도와 기술 팀이 구현을 이해하는 데 필요한 투명성을 결합할 수 있습니다.

배포와 모델 개선 사이의 간극 좁히기#

실제 이미지는 학습 과정에서 누락되었거나 충분히 표현되지 않은 조건을 드러낼 수 있습니다. 새로운 환경, 변화하는 객체 외형, 그리고 불확실한 감지 결과 모두 모델을 개선할 기회를 나타낼 수 있습니다.

Agents는 팀이 이러한 관찰을 실행 가능한 데이터 루프로 전환할 수 있도록 돕습니다:

1. Ultralytics YOLO 모델이나 Platform 배포를 통해 이미지를 실행합니다.
2. 클래스 또는 신뢰도 조건을 사용하여 결과를 필터링합니다.
3. 대상 데이터셋에 선택된 원본 이미지를 수집합니다.
4. Ultralytics Platform에서 이미지를 검토하고 주석을 추가합니다.
5. 실제 입력으로 정제된 데이터를 사용하여 재학습 및 재배포를 수행합니다.

Agents를 통해 수집된 이미지는 대상 데이터셋의 train 분할에 레이블이 지정되지 않은 상태로 도착하며, 주석 편집기에서 검토할 준비가 됩니다. 팀은 이러한 타겟팅된 예시에 레이블을 지정하고 다음 모델 반복을 안내하는 데 사용할 수 있습니다.

이를 통해 어려운 예시를 식별하는 것부터 더 나은 학습 데이터를 준비하는 것까지의 경로가 더욱 직접적으로 형성됩니다.

실제 결과에 기반한 워크플로우 구축#

Agents는 다양한 산업과 유스케이스에 걸쳐 워크플로우를 지원할 수 있습니다:

• 제조: 정의된 조건이 충족될 때 검토를 위해 가능한 결함을 캡처하고 품질 관리 팀에 알립니다.
• 물류: 컨테이너, 차량, 또는 장비와 관련된 불확실한 감지 결과를 수집하여 데이터셋 커버리지를 개선합니다.
• 소매: 감지된 클래스 또는 개수를 기준으로 이미지를 필터링하고 관련 결과를 하위 작업으로 보냅니다.
• 안전 및 보안: 추가적인 장면 컨텍스트를 요청하기 전에 지정된 시나리오에서 사람이나 객체를 감지합니다.
• 데이터셋 개발: 낮은 신뢰도의 예시를 찾아 집중적인 검토 세트로 수집합니다.

각 워크플로우는 하나의 조건에서 여러 작업으로 분기될 수 있습니다. 예를 들어, 동일하게 일치하는 이미지를 데이터셋에 저장하고 Slack 메시지를 트리거할 수 있으므로, 팀이 증거를 보존하는 동시에 검토를 담당하는 사람들에게 알릴 수 있습니다.

시각적 프로토타입에서 투명한 Python까지#

시각적 워크플로우 빌더는 실험을 가속화할 수 있지만, 기술 팀은 실행되는 내용을 파악할 수 있는 가시성도 필요합니다.

Agents를 사용하면 사용자가 워크플로우에서 생성된 Python을 검토할 수 있습니다. 이는 시각적 캔버스의 접근성과 개발자가 기본 구현을 이해하는 데 필요한 투명성을 연결해 줍니다.

팀은 공유 체험판으로 소규모 워크플로우를 테스트하거나, 더 큰 데이터셋, 더 긴 실행, 그리고 학습된 워크스페이스 모델을 위해 전용 Platform 배포 리소스를 선택할 수 있습니다.

Agents로 구축 시작하기#

**Ultralytics Agents**는 팀이 고립된 예측을 넘어 연결된 시각적 AI 워크플로우를 구축할 수 있도록 돕습니다. YOLO, 비전 언어 모델, 설정 가능한 조건, 데이터셋, 그리고 작업을 하나의 캔버스로 가져옴으로써, Agents는 예측에서 실용적인 결과로 이어지는 더 빠른 경로를 만듭니다.

Agents는 현재 얼리 액세스를 통해 제공됩니다. 개인 워크스페이스로 전환하고 설정 > 프로필에서 얼리 액세스 활성화를 켜세요. 이는 팀 워크스페이스에서 작업 중인 경우를 포함하여 개인 설정입니다.

그 후 사이드바에서 Agents를 열고, 템플릿으로 시작하거나 Agents 캔버스에서 자신만의 워크플로우를 구축하세요. Ultralytics Agents 문서에서 지원되는 블록, 조건, 실행 옵션, 그리고 설정 가이드를 살펴보세요.