Ausgelagerte oder interne Annotation: Die tatsächlichen Abwägungen

Mit interner Beschriftung erhältst du umfassenden Kontext und genaue Kontrolle. Durch Outsourcing gewinnst du Skalierbarkeit und flexible Kapazitäten. Keine der beiden Optionen ist grundsätzlich besser, und die richtige Entscheidung ändert sich meist mit der Reife deiner Modelle: Teams, die sich für ein Modell entscheiden und es nie wieder überdenken, zahlen in jeder Phase für die falsche Lösung.

Die Entscheidung ist wichtiger, als es zunächst scheint. Die Beschriftungsqualität setzt der Modellgenauigkeit eine Obergrenze, die sich durch noch so viel Architekturarbeit nicht beseitigen lässt. Daher geht es um die Verantwortung für die Modellleistung und nicht um einen einzelnen Posten im Betriebsbudget.

Vier Modelle, nicht zwei#

Die Entscheidung als Entweder-oder zu betrachten, ist der erste Fehler. Es gibt vier gängige Betriebsmodelle, und in der Praxis landen die meisten Produktionsprogramme bei einem der beiden mittleren Modelle.

Intern. Deine Mitarbeitenden beschriften die Daten mit Werkzeugen, die du lizenzierst oder selbst entwickelst. Maximaler Kontext, maximale Kontrolle, maximale Fixkosten.

Outsourcing oder Crowdsourcing. Die Arbeit wird an externe Arbeitskräfte verteilt, oft zu sehr niedrigen Stückkosten. Lässt sich schnell skalieren; Qualität und Konsistenz hängen vollständig davon ab, wie gut deine Richtlinien vermittelt werden.

Verwaltete Dienstleistungen. Ein festes externes Team wird für deinen spezifischen Fachbereich geschult und nutzt plattformgestützte Qualitätssicherung und strukturierte Feedbackschleifen. Dieses Modell soll die Kontrolle interner Teams mit der Skalierbarkeit des Outsourcings zu einem Preis zwischen beiden vereinen.

KI-gestützte Abläufe. Vom Modell erstellte Vorbeschriftungen werden von Menschen überprüft. Sehr hoher Durchsatz, qualitätsabhängig vom Modell und nur bei eng umrissenen, gut kalibrierten Aufgaben mit menschlicher Prüfung sicher.

Die meisten ausgereiften Programme nutzen mehrere dieser Modelle gleichzeitig: automatische Vorbeschriftung für den einfachen Großteil und Prüfung durch verwaltete Dienste oder interne Teams für den schwierigen kleineren Teil.

Was die einzelnen Modelle tatsächlich kosten#

Beim Outsourcing gibt es vier gängige Preismodelle. Preise pro Beschriftung sind je Element gut vorhersehbar, können bei großem Umfang aber teuer werden. Stundensätze eignen sich für Erkundungsarbeiten, bei denen Schätzungen pro Element unmöglich sind. Festpreise für Projekte schaffen Budgetsicherheit bei klar definiertem Umfang. Abonnements oder Pauschalverträge eignen sich für kontinuierliche Abläufe. Bitte jeden Anbieter anhand desselben Beispieldatensatzes um ein Angebot; öffentliche Preisangaben spiegeln selten die Komplexität und den Prüfaufwand deiner eigenen Beschriftungen wider.

Die Kosten interner Beschriftung beginnen bei den Gehältern, enden dort aber nicht. Sozialleistungen, Ausstattung und Arbeitsräume kommen zur Grundvergütung hinzu. Auch verteilte Teams benötigen Softwarelizenzen, Beschriftungswerkzeuge und Kommunikationsinfrastruktur.

Die Kosten, die interne Wirtschaftlichkeitsrechnungen zunichtemachen, schaffen es oft gar nicht erst in die Tabelle:

• Personalbeschaffung, die Zeit und Geld kostet, insbesondere in spezialisierten Bereichen wie medizinischer Bildgebung oder Daten autonomer Fahrzeuge. - Einarbeitung, denn neue Beschriftungskräfte benötigen Wochen, um deine spezifischen Richtlinien und Qualitätsstandards zu erlernen, bevor ein nennenswerter Durchsatz erreicht wird. - Managementaufwand für Planung, Arbeitsablaufkoordination, Qualitätskontrolle und Leistungskontrolle: wird regelmäßig unterschätzt. - Opportunitätskosten, die häufig die größten versteckten Kosten überhaupt darstellen. Jede Stunde, die deine ML-Fachkraft mit der Prüfung von Beschriftungen oder dem Schreiben von Beschriftungsrichtlinien verbringt, fehlt für die Verbesserung des Modells.

Die entscheidende Kennzahl#

Optimiere auf Kosten pro nützlicher Beschriftung, nicht auf Kosten pro Beschriftung. Eine Beschriftung, die pro Einheit günstig ist, aber umfangreiche Nacharbeit erfordert, ist nicht günstig. Ein höherer Stückpreis mit integrierter Qualitätssicherung kann die Gesamtkosten senken, wenn dadurch die Schleife aus Prüfung und Nachbesserung entfällt.

Zeit bis zu den ersten brauchbaren Daten#

Hier unterscheiden sich die beiden Modelle am deutlichsten. Bei Projekten mit fester Frist ist das meist entscheidend.

Stell dir einen Datensatz vor, der innerhalb von vier Monaten produktionsreife Genauigkeit erreichen muss. Bei interner Beschriftung bedeutet das, etwa acht bis zehn Beschriftungskräfte sowie eine Leitung für Qualitätssicherung und eine Projektleitung einzustellen, eine Plattform zu lizenzieren und die ersten vier bis sechs Wochen mit Einstellungen und Schulungen zu verbringen, bevor ein nennenswerter Durchsatz erreicht wird. Nach Abschluss des Projekts musst du entweder neue Aufgaben für das Team finden oder die Auflösung des Teams auffangen.

Beim Outsourcing beginnt dasselbe Projekt in der ersten Woche mit einer Pilotcharge. In der dritten Woche steht ein eingearbeitetes Team bereit, und das Projekt endet mit der Lieferung des Datensatzes. Es bleiben keine Lohnkosten zurück.

Bei einem einmaligen Datensatz ist der Vergleich nahezu eindeutig. Bei dauerhaftem Beschriftungsbedarf kehrt sich die Rechnung um. Die Einarbeitungskosten fallen nur einmal an, und das Team wird jeden Monat besser mit deinem Fachgebiet vertraut.

Qualität: Kontext und Verfahren#

Der erste Impuls ist oft, dass interne Teams bessere Beschriftungen liefern, weil deine Mitarbeitenden deine Daten verstehen. Anfangs stimmt das, aber bei wachsendem Umfang ist es nicht mehr automatisch der Fall.

Stärken interner Teams sind Kontext und schnelle Iteration. Interne Beschriftungskräfte nehmen stillschweigendes Wissen über dein Produkt auf, das nie in einem Richtliniendokument landet. Eine Frage zum Schema wird im Gespräch beantwortet und nicht über ein Support-Ticket.

Schwächen interner Teams sind Konsistenz und Abdeckung. Ein kleines Team verfestigt über Monate hinweg seine jeweils eigene, sich wandelnde Auslegung. Eine formelle Messung der Übereinstimmung zwischen Beschriftungskräften fehlt oft, weil alle annehmen, dass sie übereinstimmen.

Stärken des Outsourcings liegen in ausgereiften Verfahren. Ein seriöser Partner für Datenbeschriftung erfasst standardmäßig die Übereinstimmungsraten, führt strukturierte Qualitätssicherung durch und setzt Prüfhierarchien ein, denn das ist sein Kerngeschäft und keine Nebenaufgabe.

Schwächen des Outsourcings zeigen sich bei unklaren Richtlinien. Externe Arbeitskräfte können nicht erraten, was du gemeint hast. Sie setzen genau das um, was du geschrieben hast – in großem Umfang und einschließlich deiner Fehler.

Die praktische Konsequenz: Outsourcing macht ausgezeichnete Beschriftungsrichtlinien nicht überflüssig. Es macht sie unverzichtbar.

Sicherheit, Compliance und sensible Daten#

Bei regulierten Daten ist die Entscheidung oft schon gefallen, bevor die Kosten zur Sprache kommen.

Wenn die Beschriftung intern erfolgt, verlassen sensible Daten deine Systeme nicht. Das verringert die Gefährdung und vereinfacht die Einhaltung von Vorschriften. In Branchen, in denen die Vertraulichkeit von Patientendaten nicht verhandelbar ist, gilt interne Beschriftung für sensible Datensätze weiterhin weithin als Standard. Interne Fachleute bringen außerdem ein differenziertes Verständnis komplexer Bereiche wie Gesundheitswesen, Finanzen und Verteidigung mit.

Wenn Daten nach außen gegeben werden können, sind konkrete Fragen zu klären: Wo werden die Daten gespeichert, wer hat Zugriff, wie lange werden sie aufbewahrt und über welche Zertifizierungen verfügt der Partner? Hinzu kommt die arbeitsrechtliche Dimension: Crowdsourcing im Niedrigpreissegment wird wegen undurchsichtiger Praktiken kritisiert. Käufer können dadurch mit einem Partner zusammenarbeiten, dessen Arbeitsstandards sie öffentlich nicht verteidigen würden. Eine sorgfältige Prüfung ist hier sowohl aus Gründen des Rufs als auch der Ethik erforderlich.

Welches Modell solltest du wählen?#

Wähle interne Beschriftung, wenn deine Daten deine Umgebung nicht verlassen dürfen, dein Fachgebiet Wissen erfordert, dessen Aufbau Monate dauert, du dauerhaft und nicht nur projektbezogen beschriften musst oder sich dein Schema wöchentlich ändert und jede Änderung andernfalls ein Gespräch mit einem Anbieter erfordern würde.

Wähle Outsourcing, wenn du einen klar abgegrenzten Datensatz mit einer festen Frist hast, deine Richtlinien stabil genug sind, um sie vollständig zu dokumentieren, dein Umfang Einstellungen erfordern würde, die sich dauerhaft nicht rechtfertigen lassen, oder du die Kapazität erhöhen und wieder verringern musst, ohne in der Flaute Lohnkosten zu tragen.

Wähle einen verwalteten Dienst, wenn du die Skalierbarkeit des Outsourcings möchtest, die Arbeit aber komplex oder reguliert ist oder ein Team erfordert, das dein Fachgebiet kennenlernt, statt einer wechselnden Gruppe. Das ist bei Produktionsprogrammen, die über die Pilotphase hinausgewachsen sind, die übliche Antwort.

Wähle KI-gestützte Abläufe, wenn die Aufgabe eng umrissen und gut kalibriert ist und du über genügend Kapazität für die menschliche Prüfung der Ergebnisse verfügst. Nutze sie niemals allein für Aufgaben, bei denen eine falsche Beschriftung Folgen hat.

Welche Rolle eine Plattform spielt. Sowohl interne als auch hybride Modelle benötigen Beschriftungssoftware, und diese Wahl ist unabhängig von der Personalentscheidung. Ultralytics Platform eignet sich, wenn die beschrifteten Daten zum Training von Ultralytics YOLO verwendet werden, da Beschriftung und Training Teil desselben Arbeitsablaufs sind. CVAT und Label Studio sind die bessere Wahl für vollständig selbst gehostete Open-Source-Lösungen, während SuperAnnotate oder Encord umfassendere Prüfverfahren für große verteilte Teams bieten. Ultralytics Platform wurde im März 2026 eingeführt. Wenn eine lange Produktionshistorie Teil der Entscheidung ist, haben daher die etablierten Alternativen einen Vorteil.

Ein nützlicher Test: Wenn du keine Beschriftungsrichtlinie verfassen kannst, die eine kompetente fremde Person ohne Rückfragen befolgen könnte, bist du noch nicht bereit für das Outsourcing. Verbessere zuerst die Richtlinie: Davon profitiert auch die Qualität der internen Beschriftung.

Das hybride Modell, bei dem die meisten Teams schließlich landen#

In der Praxis ist das ausgereifte Modell selten eine reine Variante. Ein gängiger Aufbau:

• Automatische Vorbeschriftung für den Großteil unkomplizierter Fälle.
• Ein externes oder verwaltetes Team bearbeitet den geprüften Großteil in großem Umfang.
• Eine kleine interne Gruppe verantwortet die Richtlinien, entscheidet Grenzfälle und verwaltet den Evaluierungsdatensatz nach Goldstandard.

Diese letzte Gruppe streichen Teams oft zusammen – und sollten es nicht. Wer den Goldstandard verantwortet, verantwortet die Modellqualität. Diese Verantwortung lässt sich nicht auslagern, selbst wenn die Beschriftung ausgelagert wird.

So setzt du eines der beiden Modelle um: ein Ablauf in fünf Schritten#

Diese Schritte gelten unabhängig davon, welches Modell du wählst. Ihre Reihenfolge entscheidet darüber, ob sich ein Programm verbessert oder auf der Stelle tritt.

Verfasse die Richtlinien, bevor du dich entscheidest. Sie sind das mit Abstand wichtigste Arbeitsergebnis des Prozesses. Beim Verfassen zeigt sich oft, dass dein Schema weniger ausgereift ist als gedacht.

Miss von Anfang an die Übereinstimmung zwischen Beschriftungskräften. Häufige Abweichungen zeigen, dass die Richtlinien oder die Abgrenzung der Aufgabe überarbeitet werden müssen. Das gilt ebenso für interne Teams, bei denen die Übereinstimmung oft überhaupt nicht gemessen wird.

Halte einen Goldstandard-Datensatz zurück. Wähle einige Hundert Elemente aus, die du nach hohen Standards beschriftet hast und niemals weitergibst. Jede Charge aus jeder Quelle wird daran gemessen. So erkennst du Abweichungen, bevor sie ein Modell erreichen.

Führe vor einer Zusage einen bezahlten Pilottest durch. Gib einem potenziellen Partner einen bereits von dir beschrifteten Datenausschnitt und vergleiche seine Ergebnisse mit deinen. Nur so lässt sich die Qualität verlässlich vergleichen, und die Kosten betragen nur einen Bruchteil eines schlechten Jahresvertrags.

Sorge dafür, dass deine Daten übertragbar bleiben. Unabhängig vom Modell solltest du Beschriftungen in einem offenen Format wie YOLO oder COCO speichern. Dank der Übertragbarkeit kannst du deine Entscheidung rückgängig machen, wenn die Antwort im nächsten Jahr anders ausfällt.