Theia Scientific beschleunigt die Mikroskopie-Analyse um den Faktor 43 mit Ultralytics YOLO

Wissenschaftliche Forschung in Bereichen wie Materialwissenschaften und Nanotechnologie ist oft auf geladene Teilchen, Rasterkraft- und optische Mikroskopie angewiesen, um Strukturen zu erforschen, die für das menschliche Auge unsichtbar sind. Beispielsweise ist die Transmissionselektronenmikroskopie (TEM) ein wichtiges Werkzeug, das in der Lage ist, feine Details im Nano- und Atommaßstab zu erfassen.

Leider kann die Analyse dieser Bilder nach ihrer Aufnahme langsam und komplex sein und erfordert oft erheblichen manuellen Aufwand sowie Domänenwissen. Um diesen Prozess zu verbessern, hat Theia Scientific die Theiascope™-Plattform entwickelt, ein Echtzeit-Mikroskopie-Bildanalsysesystem, das Ultralytics YOLO models integriert, um Bilderkennung, Segmentierung und quantitative Messungen zu automatisieren und die Mikroskopie schneller, effizienter und reproduzierbarer zu machen.

Die Rolle von Vision AI in der wissenschaftlichen Bildgebung erforschen#

Gegründet von den Brüdern Kevin und Christopher Field, entwickelt Theia Scientific fortschrittliche Software-Tools, um die Mikroskopie-Forschung zu beschleunigen. Mit Expertise in den Bereichen Materialwissenschaft, industrielle Automatisierung, Elektronik und Software-Engineering konzentrieren sie sich darauf, die Engpässe zu reduzieren, mit denen Wissenschaftler, Ingenieure und Forscher bei der Analyse komplexer Bilddaten konfrontiert sind.

Ihr Flaggschiffprodukt, die Theiascope™-Plattform, integriert computer vision, um Merkmale in Elektronenmikroskopiebildern automatisch zu erkennen, zu segmentieren und zu messen. Anstatt sich auf manuelle Annotation und Nachzeichnung zu verlassen, nutzt die Plattform Vision AI, um konsistente und reproduzierbare Ergebnisse zu liefern.

Warum sind Mikroskopie-Bilder manuell schwer zu analysieren?#

Mikroskopie-Bilder, insbesondere solche, die mit TEM aufgenommen wurden, sind sehr detailliert, aber schwer zu interpretieren. Jedes Bild enthält Hunderte bis Tausende feiner Merkmale und Strukturen, wie Körner und Grenzen, die sorgfältig identifiziert, annotiert, nachgezeichnet und/oder gemessen werden müssen, um aussagekräftige Daten zu extrahieren. Traditionell geschieht dies von Hand, was langsam ist und von Person zu Person variieren kann. Zwei Forscher könnten dasselbe Bild unterschiedlich annotieren, was zu inkonsistenten Ergebnissen und großen Fehlerbalken führt.

Dieser Prozess wird noch komplexer, wenn große datasets im Spiel sind. Um verlässliche Erkenntnisse zu gewinnen, müssen oft Tausende von Bildern analysiert werden, was mit manuellen Methoden Wochen oder sogar Monate dauern kann. Hinzu kommt, dass Schwankungen bei Kontrast, Rauschen und überlappenden Strukturen den Prozess zusätzlich erschweren.

Für Forscher, die die mikrostrukturelle Entwicklung untersuchen oder Veränderungen im Zeitverlauf verfolgen möchten, können diese Probleme die Forschung verlangsamen. Theia Scientific erkannte, dass diese Bedenken eine automatisiertere und zuverlässigere Lösung erforderten.

Verbesserung von Mikroskopie-Workflows mit Ultralytics YOLO-Modellen#

Nach der Prüfung verschiedener Ansätze zur Automatisierung der Mikroskopie-Datenanalyse stellte Theia Scientific fest, dass Ultralytics YOLO-Modelle die Geschwindigkeit, Genauigkeit und Flexibilität bieten, die für die Echtzeit-Mikroskopie-Bildanalyse erforderlich sind. Dies ermöglicht sofortige quantitative Ergebnisse am Mikroskop, während die Experimente noch laufen. Ultralytics YOLO-Modelle wie Ultralytics YOLO11 und Ultralytics YOLOv8 unterstützen Computer-Vision-Aufgaben wie Objekterkennung (Identifizierung und Lokalisierung einzelner Merkmale in einem Bild) und Instanzsegmentierung (Umrisszeichnung jedes Merkmals auf Pixelebene). Diese Aufgaben ermöglichen es, nanoskalige Strukturen wie Körner und Korngrenzen direkt in TEM-Bildern zu erkennen, während sie aufgenommen werden.

Abb. 1: Aktueller Workflow für die Mikroskopie-Bild- und Datenanalyse. Wissenschaftler, Ingenieure und Forscher streben am Ende des Workflows letztlich nach Entdeckungen und Antworten. Gleichzeitig ist der Workflow unzusammenhängend und arbeitsintensiv, wobei der relative Zeit- und Arbeitsaufwand für jeden Schritt unten dargestellt ist. Die Merkmalserkennung und -aggregation sind die zeitaufwändigsten Phasen im Workflow. Die grauen Pfeile, die zur Datenerfassung zurückführen, bedeuten, dass Daten neu erfasst werden müssen, da die aktuellen Daten nicht nützlich sind. Quelle: Theia Scientific.

Beispielsweise wurden in einer aktuellen Studie zu polycrystalline thin films das Theiascope™ und Ultralytics YOLO-Modelle verwendet, um Kornstrukturen zu identifizieren und zu messen, die die Eigenschaften von Materialien in Elektronik-, Beschichtungs- und Energiegeräten beeinflussen. Genaue Korngrößenverteilungen sind entscheidend, um zu verstehen, wie sich diese Schichten während Experimenten entwickeln.

Einer der Hauptgründe, warum Ultralytics YOLO-Modelle in diesen Anwendungsfällen so effektiv sind, ist ihre Fähigkeit, über große Datensätze hinweg zu interpolieren. Anstatt jeden Frame in einem Experiment labeln zu müssen, können Forscher nur einen kleinen Bruchteil der Bilder annotieren, ein YOLO-Modell trainieren und es dann zuverlässig Tausende weiterer Frames analysieren lassen. Dies ermöglicht es, Kornwachstum und Grenzveränderungen über Zeitraffer-TEM-Experimente hinweg mit minimalem manuellem Aufwand zu verfolgen.

Warum solltest du dich für Ultralytics YOLO Modelle entscheiden?#

In der zuvor besprochenen Studie über polykristalline Dünnschichten wurde festgestellt, dass Ultralytics YOLOv8 bis zu 43-mal schneller ist als U‑Net (ein Modell, das häufig für die wissenschaftliche Bildanalyse verwendet wird). Diese Geschwindigkeit macht YOLO praktisch für die Echtzeitanalyse direkt am Mikroskop.

Während U-Net zwar genau, aber langsam ist, kombiniert YOLO Geschwindigkeit mit Genauigkeit und erreicht Korngrößenmessungen, die bis auf 3 % an die Ground Truth heranreichen. Das Design macht es zudem flexibler und ermöglicht die einfache Handhabung unterschiedlicher Skalierungen und Trainings-Setups. Für Forscher bedeutet dies schnellere Ergebnisse ohne Einbußen bei der Zuverlässigkeit, was ideal ist, um Mikroskopie-Workflows zu beschleunigen.

Abb. 2: Im Vergleich zu manuellem Nachzeichnen (b) und U‑Net (c) liefert die YOLOv8-Segmentierung (d) schärfere, genauere Umrisse auf Mikroskopiebildern. (Source)

Verringerung von Bias und Steigerung der Konsistenz in der Mikroskopie mit YOLO#

Durch die Theiascope™-Plattform hat Theia Scientific gezeigt, dass Ultralytics YOLO-Modelle die Mikroskopie-Bildanalyse und TEM-Experimente beschleunigen und gleichzeitig reproduzierbare, langfristige Forschung unterstützen können. Die Plattform ist mikroskopunabhängig gestaltet, was bedeutet, dass YOLO-Modelle zur Analyse von Bildern verwendet werden, die mit verschiedenen Instrumenten gesammelt wurden, ohne dass angepasste Pipelines erforderlich sind. Diese Flexibilität stellt sicher, dass Workflows über verschiedene Experimente, Bediener und Umgebungen hinweg konsistent bleiben.

Reproduzierbarkeit ist ein weiteres zentrales Ergebnis. Die wissenschaftliche Forschung erfordert oft, dass Ergebnisse Jahre später überprüft und validiert werden können. Mit verschiedenen YOLO-Modellen, die in das Theiascope™ integriert sind, können Forscher ältere Modelle wie Ultralytics YOLOv5 auf archivierten Datensätzen erneut ausführen, konsistente Ergebnisse erhalten und diese dann direkt mit den Ergebnissen neuerer Modelle wie Ultralytics YOLO11 vergleichen. Dies macht die Überprüfung von Erkenntnissen unkompliziert, selbst wenn sich KI-Methoden weiterentwickeln.

Abb. 3. Die Theiascope™-Plattform. Elektronenmikroskopie-Bilder werden erfasst und vom Erfassungscomputer zu einem GPU-fähigen Gerät gestreamt, das eine Webanwendung, eine Zeitreihendatenbank und die Ultralytics YOLO-Modelle ausführt. Updates und neue Ultralytics YOLO-Modelle können per OTA-Updates auf die Plattform übertragen werden. Quelle: Theia Scientific.

Zudem verleihen Ultralytics YOLO-Modelle der Plattform die Skalierbarkeit, die zur Bewältigung großer Datensätze erforderlich ist. Ihre Echtzeit-Inferenzfähigkeiten erlauben die Analyse von Tausenden von TEM-Bildern in der Zeit, die man für die manuelle Analyse von nur wenigen benötigen würde. Dies ermöglicht es Forschern, dynamische Prozesse wie Kornwachstum über ganze Experimente hinweg zu verfolgen, neue Erkenntnisse zu gewinnen und neuartige Experimente in dem Maßstab und mit der Geschwindigkeit durchzuführen, die für Spitzenforschung erforderlich sind.

Integration fortschrittlicher Vision AI in Forschungstools der nächsten Generation#

Theia Scientific betrachtet Ultralytics YOLO-Modelle als Fundament für die Zukunft der Mikroskopie. Durch die kontinuierliche Verfeinerung von training-Methoden und Kalibrierungsansätzen zielen sie darauf ab, die Genauigkeit über verschiedene Maßstäbe und experimentelle Bedingungen hinweg weiter zu verbessern.

In Zukunft plant Theia Scientific, Theiascope™ zu erweitern, um komplexere In-situ-Experimente und multimodale Datensätze zu unterstützen. Sie sind überzeugt, dass Vision AI ein Standardbestandteil wissenschaftlicher Workflows der nächsten Generation werden wird, was schnellere Entdeckungen und tiefere Einblicke in allen wissenschaftlichen Bereichen ermöglichen wird.

Möchtest du die Workflows deines Unternehmens optimieren? Sieh dir unser GitHub repository an, um mehr über Vision AI zu erfahren. Entdecke, wie YOLO-Modelle Innovationen in Bereichen wie AI in healthcare und computer vision in retail vorantreiben. Um YOLO praktisch auszuprobieren, erfahre, wie our licensing options deine Vision unterstützen können.