Function Calling (Tool Use)

Funktionsaufrufe, häufig als Tool-Nutzung bezeichnet, sind ein leistungsfähiges Paradigma in der modernen künstlichen Intelligenz (AI), das es Modellen ermöglicht, ihre Fähigkeiten über die statische Text- oder Bildgenerierung hinaus zu erweitern. Statt lediglich einen Prompt auf Grundlage interner Trainingsdaten zu beantworten, kann das Modell strukturierte Befehle ausgeben, um externe Programmierfunktionen auszulösen, Datenbanken abzufragen oder mit REST APIs zu interagieren. Dieser Ansatz verleiht der künstlichen Intelligenz effektiv die Fähigkeit, konkrete Aktionen in digitalen Umgebungen auszuführen.

Wenn ein KI-System Funktionsaufrufe nutzt, stellen Entwickler dem Modell eine Liste verfügbarer Tools bereit, die mithilfe von JSON Schema beschrieben werden. Erfordert der Prompt des Benutzers Echtzeitdaten oder eine bestimmte Aktion, pausiert das Modell seinen standardmäßigen Generierungsprozess und gibt eine stark strukturierte Nutzlast im JSON-Format aus, die den erforderlichen Parametern des ausgewählten Tools entspricht. Frameworks wie die API für Funktionsaufrufe von OpenAI und das Framework für Tool-Nutzung von Anthropic haben diese Technik populär gemacht und Konversationsagenten in leistungsfähige Problemlöser verwandelt.

Anwendungen in der Praxis#

Die Integration von Tool-Nutzung in Workflows verändert die Funktionsweise von Software. Bewertet anhand von Benchmarks wie dem Berkeley-Leaderboard für Funktionsaufrufe, treiben diese Fähigkeiten den Wandel hin zu hochautonomen Systemen voran.

• Automatisierter Einzelhandel und Kundenservice: Im Bereich der künstlichen Intelligenz im Einzelhandel kann ein virtueller Assistent Funktionsaufrufe verwenden, um den aktuellen Lagerbestand abzufragen. Wenn ein Kunde fragt: „Wo ist meine Bestellung?“, erzeugt das Modell einen Funktionsaufruf an eine Datenbank-API, ruft den Sendungsstatus ab und gibt eine natürlichsprachliche Antwort zurück.
• Bildgestützte Datenextraktion: Ein Vision-Language-Modell (VLM) kann Ultralytics YOLO-Objektdetektoren als Tools verwenden. Wird das Modell gebeten, die Einhaltung von Sicherheitsvorschriften in einem Fabrikbild zu überprüfen, kann die zentrale Konversations-KI ein Skript aufrufen, das ein Ultralytics YOLO26-Modell ausführt, um Schutzhelme zu erkennen, und die Ergebnisse der Objekterkennung nahtlos im Dialog des Benutzers zurückgeben.

Computer Vision als Tool integrieren#

Du kannst ein Computer-Vision-Modell als funktionales Tool für einen übergeordneten KI-Agenten bereitstellen. In dieser Architektur definierst du eine Python-Methode, die eine Inferenz durchführt und von einem schlussfolgernden Modell ausgelöst werden kann, wenn visuelle Daten benötigt werden.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Unterscheidung verwandter Begriffe#

Um moderne KI-Architekturen vollständig zu verstehen, ist es hilfreich zu wissen, wie Funktionsaufrufe mit ähnlichen Konzepten zusammenhängen und sich von ihnen unterscheiden:

• Modellkontextprotokoll (MCP): Während Funktionsaufrufe auf spezifischen API-Definitionen beruhen, die im Prompt des Modells übergeben werden, ist MCP eine übergeordnete, standardisierte Architektur. MCP schafft ein universelles Protokoll zur Verbindung von KI-Modellen mit Datenquellen, während Funktionsaufrufe den lokalen Mechanismus darstellen, mit dem Modelle diese Verbindungen tatsächlich aufrufen.
• Abruf-gestützte Generierung (RAG): RAG ist eine speziell dafür entwickelte Methodik, relevante Texte oder Dokumente abzurufen, um den Prompt eines LLM zu erweitern. Funktionsaufrufe sind ein umfassenderer Mechanismus: Eine KI kann ein Tool für RAG verwenden, aber auch Tools nutzen, um Dateien auf der Festplatte zu speichern oder eine E-Mail zu senden. Umfassende Implementierungen von RAG mit Tools findest du in der PyTorch-Dokumentation und in den multimodalen Leitfäden zu Google Gemini.
• KI-Agent: Ein KI-Agent ist ein vollständig autonomes System, das seine Umgebung wahrnimmt und Aktionen ausführt, um ein Ziel zu erreichen. Funktionsaufrufe sind die wichtigste Fähigkeit, die einem Agenten die Ausführung dieser Aktionen ermöglicht. Beim Bereitstellen groß angelegter agentischer Systeme verwenden Teams häufig die Ultralytics Platform, um die zugrunde liegenden visuellen Modelle, auf die diese Agenten zugreifen, nahtlos zu trainieren und bereitzustellen. Organisationen, die von statischen Modellen zu agentischen Workflows wechseln, verlassen sich häufig auf Deep-Learning-Bibliotheken wie TensorFlow, um die Endpunkte zu optimieren, mit denen diese Funktionen kommunizieren.