Function Calling (Tool Use)

Вызов функций, который часто называют использованием инструментов, — это мощная парадигма в современной искусственной разведке (AI), позволяющая моделям расширять свои возможности за пределы статической генерации текста или изображений. Вместо того чтобы просто отвечать на запрос на основе внутренних обучающих данных, модель может выводить структурированные команды для запуска внешних программных функций, выполнения запросов к базам данных или взаимодействия с REST API. Такой подход фактически наделяет AI способностью выполнять конкретные действия в цифровой среде.

Когда система AI использует вызов функций, разработчики предоставляют модели список доступных инструментов, описанных с помощью JSON Schema. Если запрос пользователя требует данных в реальном времени или выполнения определенного действия, модель приостанавливает стандартный процесс генерации и выводит строго структурированный фрагмент данных в формате JSON, соответствующий обязательным параметрам выбранного инструмента. Такие фреймворки, как API вызова функций OpenAI и фреймворк использования инструментов Anthropic, сделали эту технику популярной, превратив разговорных агентов в эффективные системы решения задач.

Практические применения#

Интеграция использования инструментов в рабочие процессы меняет принцип работы программного обеспечения. Эти возможности, оцениваемые по таким бенчмаркам, как таблица лидеров Berkeley по вызову функций, способствуют переходу к высокоавтономным системам.

• Автоматизированная розничная торговля и обслуживание клиентов: В сфере AI в розничной торговле виртуальный помощник может использовать вызов функций для проверки актуальных данных об inventory. Если клиент спрашивает: «Где мой заказ?», модель формирует вызов функции к API базы данных, получает статус отслеживания и возвращает ответ на естественном языке.
• Извлечение данных с помощью компьютерного зрения: Модель компьютерного зрения и языка (VLM) может использовать детекторы объектов Ultralytics YOLO в качестве инструментов. Если попросить ее проверить соблюдение требований безопасности на изображении с завода, основной разговорный AI может вызвать скрипт, запускающий модель Ultralytics YOLO26 для обнаружения защитных касок, и без задержек вернуть результаты детектирования объектов в диалог с пользователем.

Интеграция компьютерного зрения в качестве инструмента#

Ты можешь представить модель компьютерного зрения как функциональный инструмент для общего AI-агента. В такой архитектуре ты определяешь метод Python, выполняющий инференс, который рассуждающая модель может запускать при необходимости обработки визуальных данных.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Различия между связанными терминами#

Чтобы полностью разобраться в современных архитектурах AI, полезно понять, как вызов функций связан с похожими концепциями и чем от них отличается:

• Протокол контекста модели (MCP): Вызов функций опирается на конкретные определения API, переданные в запросе к модели, тогда как MCP представляет собой универсальную стандартизированную архитектуру. MCP создает универсальный протокол для подключения моделей AI к источникам данных, а вызов функций — это локализованный механизм, с помощью которого модели фактически активируют эти подключения.
• Генерация с дополнением извлеченной информацией (RAG): RAG — это методология, специально предназначенная для извлечения релевантного текста или документов и дополнения ими запроса LLM. Вызов функций — более общий механизм: AI может использовать инструмент для выполнения RAG, но также может применять инструменты для записи файлов на диск или отправки электронных писем. Комплексные реализации RAG с использованием инструментов можно найти в документации PyTorch и руководствах Google Gemini по мультимодальным технологиям.
• AI-агент: AI-агент — это полностью автономная система, которая воспринимает окружающую среду и выполняет действия для достижения цели. Вызов функций — это основной навык, позволяющий агенту выполнять эти действия. При развертывании крупномасштабных агентных систем команды часто используют платформу Ultralytics, чтобы без лишних усилий обучать и обслуживать базовые визуальные модели, к которым эти агенты обращаются для восприятия окружающего мира. Организации, переходящие от статических моделей к агентным рабочим процессам, часто полагаются на библиотеки глубокого обучения, такие как TensorFlow, для оптимизации конечных точек, с которыми взаимодействуют эти функции.