Durch die Integration von Ultralytics YOLO-Modellen in seine Plattform hat Theia Scientific die Verarbeitung von Mikroskopiedaten grundlegend verändert und die Analyse effizienter und zuverlässiger gemacht.
Wissenschaftliche Forschung in Bereichen wie Materialwissenschaften und Nanotechnologie ist häufig auf die Mikroskopie mit geladenen Teilchen, Rastersonden- und optische Mikroskopie angewiesen, um Strukturen zu untersuchen, die für das menschliche Auge unsichtbar sind. Beispielsweise ist die Transmissionselektronenmikroskopie (TEM) ein wichtiges Werkzeug, mit dem sich feine Details auf der Nano- und atomaren Ebene erfassen lassen.
Leider kann die Analyse der Bilder nach ihrer Erfassung langsam und komplex sein und erfordert häufig erheblichen manuellen Aufwand sowie Fachkenntnisse. Um diesen Prozess zu verbessern, entwickelte Theia Scientific die Plattform Theiascope™, ein Echtzeit-System zur Analyse von Mikroskopiebildern, das Ultralytics YOLO-Modelle integriert, um Bilderkennung, Segmentierung und quantitative Messungen zu automatisieren und die Mikroskopie schneller, effizienter und reproduzierbar zu machen.
Die Rolle von Vision AI in der wissenschaftlichen Bildgebung#
Theia Scientific wurde von den Brüdern Kevin und Christopher Field gegründet und entwickelt fortschrittliche Softwarewerkzeuge, um die Mikroskopieforschung zu beschleunigen. Mit Fachwissen in Materialwissenschaft, industrieller Automatisierung, Elektronik und Softwareentwicklung konzentrieren sie sich darauf, die Engpässe zu reduzieren, mit denen Wissenschaftler, Ingenieure und Forschende bei der Analyse komplexer Bilddaten konfrontiert sind.
Das Flaggschiffprodukt, die Plattform Theiascope™, integriert Computer Vision, um Merkmale in elektronenmikroskopischen Bildern automatisch zu erkennen, zu segmentieren und zu messen. Da die Plattform auf Vision AI statt auf manueller Annotation und Nachverfolgung basiert, liefert sie konsistente und reproduzierbare Ergebnisse.
Warum lassen sich Mikroskopiebilder nur schwer manuell analysieren?#
Mikroskopiebilder, insbesondere Aufnahmen mit TEM, sind sehr detailreich, aber schwierig zu interpretieren. Jedes Bild enthält Hunderte bis Tausende feiner Merkmale und Strukturen, etwa Körner und Korngrenzen, die sorgfältig identifiziert, annotiert, nachverfolgt und/oder gemessen werden müssen, um aussagekräftige Daten zu gewinnen. Traditionell wurde dies von Hand erledigt, was langsam ist und von Person zu Person unterschiedlich ausfallen kann. Zwei Forschende könnten dasselbe Bild unterschiedlich annotieren, was zu inkonsistenten Ergebnissen und großen Fehlerbalken führt.
Dieser Prozess wird noch komplexer, wenn große Datensätze beteiligt sind. Um zuverlässige Erkenntnisse zu gewinnen, müssen häufig Tausende von Bildern analysiert werden, was mit manuellen Methoden Wochen oder sogar Monate dauern kann. Darüber hinaus erschweren Unterschiede bei Kontrast und Rauschen sowie überlappende Strukturen den Prozess zusätzlich.
Für Forschende, die die Entwicklung von Mikrostrukturen untersuchen oder Veränderungen im Zeitverlauf verfolgen möchten, können diese Probleme die Forschung verlangsamen. Theia Scientific erkannte, dass diese Herausforderungen eine stärker automatisierte und zuverlässigere Lösung erforderten.
Mikroskopie-Workflows mit Ultralytics YOLO-Modellen verbessern#
Nach der Untersuchung verschiedener Ansätze zur Automatisierung der Mikroskopiedatenanalyse stellte Theia Scientific fest, dass Ultralytics YOLO-Modelle die für die Echtzeitanalyse von Mikroskopiebildern erforderliche Geschwindigkeit, Genauigkeit und Flexibilität boten und dadurch sofortige quantitative Ergebnisse am Mikroskop ermöglichten, während die Experimente noch liefen. Ultralytics YOLO-Modelle wie Ultralytics YOLO11 und Ultralytics YOLOv8 unterstützen Computer-Vision-Aufgaben wie Objekterkennung (Identifizierung und Lokalisierung einzelner Merkmale in einem Bild) und Instanzsegmentierung (Umriss jedes Merkmals auf Pixelebene). Dadurch lassen sich Strukturen im Nanomaßstab, etwa Körner und Korngrenzen, direkt in TEM-Bildern erkennen, sobald diese aufgenommen werden.
Abb. 1. Aktueller Workflow zur Analyse von Mikroskopiebildern und -daten. Am Ende des Workflows suchen Wissenschaftler, Ingenieure und Forschende letztlich nach neuen Erkenntnissen und Antworten. Gleichzeitig ist der Workflow fragmentiert und arbeitsintensiv; der relative Zeit- und Arbeitsaufwand für jeden Schritt ist unten dargestellt. Die Merkmalserkennung und Aggregation sind die zeitaufwendigsten Phasen des Workflows. Die grauen Pfeile zurück zur Erfassung zeigen, dass Daten erneut erfasst werden müssen, weil die aktuellen Daten nicht brauchbar sind. Quelle: Theia Scientific.
In einer aktuellen Studie zu polykristallinen Dünnschichten wurden beispielsweise Theiascope™ und Ultralytics YOLO-Modelle eingesetzt, um Kornstrukturen zu identifizieren und zu messen, die die Eigenschaften von Materialien für Elektronik, Beschichtungen und Energieanwendungen beeinflussen. Genaue Verteilungen der Korngrößen sind entscheidend, um zu verstehen, wie sich diese Schichten während der Experimente entwickeln.
Ein wesentlicher Grund für die hohe Wirksamkeit von Ultralytics YOLO-Modellen in diesen Anwendungsfällen ist ihre Fähigkeit, über große Datensätze hinweg zu interpolieren. Statt jedes Bild eines Experiments beschriften zu müssen, können Forschende nur einen kleinen Teil der Bilder annotieren, ein YOLO-Modell trainieren und anschließend Tausende weiterer Bilder zuverlässig analysieren lassen. Dadurch lässt sich das Kornwachstum und die Veränderung von Korngrenzen in TEM-Zeitrafferexperimenten mit minimalem manuellem Aufwand verfolgen.
Warum Ultralytics YOLO-Modelle wählen?#
In der zuvor besprochenen Studie zu polykristallinen Dünnschichten erwies sich Ultralytics YOLOv8 als bis zu 43-mal schneller als U‑Net (ein Modell, das häufig für die wissenschaftliche Bildanalyse verwendet wird). Diese Geschwindigkeit macht YOLO für die Echtzeitanalyse direkt am Mikroskop geeignet.
Während U‑Net zwar genau, aber langsam ist, verbindet YOLO Geschwindigkeit mit Genauigkeit und stimmt bei den Korngrößenmessungen bis auf 3 % mit den Referenzwerten überein. Sein Aufbau macht das Modell außerdem flexibler, da es unterschiedliche Maßstäbe und Trainingskonfigurationen problemlos verarbeitet. Für Forschende bedeutet dies schnellere Ergebnisse ohne Einbußen bei der Zuverlässigkeit – ideal, um Mikroskopie-Workflows zu beschleunigen.
Abb. 2. Im Vergleich zur manuellen Nachverfolgung (b) und zu U‑Net (c) liefert die YOLOv8-Segmentierung (d) schärfere und genauere Umrisse in Mikroskopiebildern. (Quelle)
Verzerrungen reduzieren und die Konsistenz der Mikroskopie mit YOLO steigern#
Mit der Plattform Theiascope™ zeigte Theia Scientific, dass Ultralytics YOLO-Modelle die Analyse von Mikroskopiebildern und TEM-Experimenten beschleunigen und gleichzeitig reproduzierbare, langfristig angelegte Forschung unterstützen können. Die Plattform ist unabhängig vom verwendeten Mikroskop konzipiert. Das bedeutet, dass YOLO-Modelle Bilder verschiedener Instrumente analysieren können, ohne dass dafür angepasste Pipelines erforderlich sind. Diese Flexibilität stellt sicher, dass Workflows über unterschiedliche Experimente, Bediener und Umgebungen hinweg konsistent bleiben.
Die Reproduzierbarkeit ist ein weiterer wichtiger Vorteil. Wissenschaftliche Forschung erfordert häufig, dass Ergebnisse Jahre später erneut geprüft und validiert werden können. Mit verschiedenen in Theiascope™ integrierten YOLO-Modellen können Forschende ältere Modelle wie Ultralytics YOLOv5 erneut auf archivierte Datensätze anwenden und konsistente Ausgaben erhalten, die sich direkt mit den Ergebnissen neuerer Modelle wie Ultralytics YOLO11 vergleichen lassen. Dadurch wird die Überprüfung von Erkenntnissen vereinfacht, selbst wenn sich KI-Methoden weiterentwickeln.
Abb. 3. Die Plattform Theiascope™. Elektronenmikroskopiebilder werden aufgenommen und vom Erfassungscomputer an ein GPU-fähiges Gerät übertragen, auf dem eine Webanwendung, eine Zeitreihendatenbank und die Ultralytics YOLO-Modelle ausgeführt werden. Aktualisierungen und neue Ultralytics YOLO-Modelle können mit OTA-Aktualisierungen auf die Plattform übertragen werden. Quelle: Theia Scientific.
Darüber hinaus verleihen Ultralytics YOLO-Modelle der Plattform die erforderliche Skalierbarkeit für die Verarbeitung großer Datensätze. Dank ihrer Echtzeit-Inferenzfähigkeiten können Tausende von TEM-Bildern in der Zeit analysiert werden, die eine manuelle Analyse von nur wenigen Bildern beanspruchen würde. So können Forschende dynamische Prozesse wie das Kornwachstum über ganze Experimente hinweg verfolgen, neue Erkenntnisse gewinnen und neuartige Experimente in dem Maßstab und mit der Geschwindigkeit ermöglichen, die für Spitzenforschung erforderlich sind.
Fortschrittliche Vision AI in Forschungswerkzeuge der nächsten Generation integrieren#
Theia Scientific betrachtet Ultralytics YOLO-Modelle als Grundlage für die Zukunft der Mikroskopie. Durch die kontinuierliche Weiterentwicklung von Trainings- und Kalibrierungsmethoden wollen sie die Genauigkeit über verschiedene Maßstäbe und Versuchsbedingungen hinweg weiter verbessern.
Für die Zukunft plant Theia Scientific, Theiascope™ um Unterstützung für komplexere In-situ-Experimente und multimodale Datensätze zu erweitern. Das Unternehmen geht davon aus, dass Vision AI wahrscheinlich zu einem festen Bestandteil von Forschungs-Workflows der nächsten Generation wird und schnellere Entdeckungen sowie tiefere Erkenntnisse in verschiedenen wissenschaftlichen Bereichen ermöglicht.
Möchtest du die Workflows deines Unternehmens optimieren? Besuche unser GitHub-Repository, um mehr über Vision AI zu erfahren. Entdecke, wie YOLO-Modelle Innovationen in Bereichen wie KI im Gesundheitswesen und Computer Vision im Einzelhandel vorantreiben. Wenn du YOLO praktisch einsetzen möchtest, erfahre, wie unsere Lizenzoptionen dich bei deinen Vision-AI-Projekten unterstützen können.
