Einführung in generative KI für die Mikroskopie

Wenn heute von generativer KI die Rede ist, denken viele zuerst an große Sprachmodelle wie ChatGPT, die menschenähnliche Texte generieren können. Während traditionelle KI-Modelle darauf ausgelegt sind, Muster in Daten zu erkennen und Vorhersagen zu treffen, geht generative KI einen Schritt weiter: Sie erstellt neue Daten, die authentisch erscheinen und sich von realen Daten kaum unterscheiden lassen, und kann so neue Inhalte erschaffen – seien es Texte, Bilder, Musik oder sogar Videos. Gerade in der Bildverarbeitung hat generative KI enorme Fortschritte gemacht.

Bekannte Anwendungen sind:

• Style Transfer: Hier wird der Stil eines Kunstwerks auf ein anderes Bild übertragen, sodass ein Foto beispielsweise wie ein Gemälde von Van Gogh aussieht.

• Bildrestauration: Alte oder beschädigte Bilder können durch KI rekonstruiert und verbessert werden.

• Bilderzeugung: Modelle wie DALL- E oder Stable Diffusion erstellen realistische Bilder aus Textbeschreibungen.

Eine besonders spannende Anwendung ist Super-Resolution, die auch in der Mikroskopie genutzt wird. Hierbei werden Bilder mit niedriger Auflösung durch KI künstlich derartig hochskaliert, dass feinere Details sichtbar gemacht werden und dabei eine höhere Auflösung simuliert.

Inspiriert von Arbeiten zu Style Transfer und Super-Resolution haben wir in einem Forschungsvorhaben mit der Universität des Saarlandes und der University of Michigan, Ann Arbor, USA einen sogenannten „Microscopy Modality Transfer“ (Mikroskopie-Modalitätstransfer) entwickelt: Dabei nutzen wir ein generatives KI-Modell zur Umwandlung eines niedrig aufgelösten Lichtmikroskopie-Bildes (LM) in ein hochauflösendes Rasterelektronenmikroskopie-Bild (REM), wodurch eine Quantifizierung des Gefüges auf Längenskalen ermöglicht wird, die im LM normalerweise nicht zugänglich sind.

Motivation: Grenzen der Lichtmikroskopie überwinden

Das LM ist immer noch das Standardwerkzeug der Gefügeanalyse, da große Bereiche schnell und einfach analysiert werden können, und kommt insbesondere in der täglichen Qualitätskontrolle zum Einsatz. Die Submikrometerstrukturen bestimmter Gefügebestandteile können jedoch nicht aufgelöst werden, da die Auflösung des LM durch die Wellenlänge des sichtbaren Lichts begrenzt ist. Für die Analyse dieser Strukturen hat sich das REM in Forschung und Industrie durchgesetzt. Im Vergleich zum LM bieten die hohe Auflösung und die unterschiedlichen Kontrastmechanismen bessere Möglichkeiten zur Gefügeanalyse. Allerdings ist die Aufnahme von REM-Bildern zeitaufwändiger und damit kostspieliger.

Wir wählen Dualphasenstähle als Werkstoff für unseren Anwendungsfall. Diese bieten durch maßgeschneiderte Gefüge hervorragende Eigenschaftskombinationen. Die mechanischen Eigenschaften hängen stark von der Art, dem Phasenanteil, der Verteilung und den Submikrometer-Merkmalen der Karbide der zweiten Phase ab (z.B. Bainit-Lattenbreite oder Perlit-Lamellenabstand). Letztere lassen sich mittels LM nicht auflösen, was in der Regel den Einsatz von REM erfordert.

Datengrundlage für KI-Modelle in der Mikroskopie

Wie für alle KI-Modelle sind auch hier die zugrunde liegenden Daten der Schlüssel zum Erfolg. In diesem Fall bildet korrelative Mikroskopie die Datengrundlage, d.h. wir haben dieselbe Probenstelle mittels LM und REM abgebildet und diese Bilder anschließend deckungsgleich aufeinander registriert: So erhalten wir vollständig korrelierte, pixelgenau überlagerte LM- und REM-Aufnahmen. Nur so können wir das KI-Modell dahingehend trainieren, das LM-Bild in ein hochaufgelöstes REM-Bild zu transformieren.

Zum Einsatz kamen verschiedene generative KI-Modelle:

• Traditionelle Encoder-Decoder-Netzwerke (Variante AdaIN)

• Generative Adversarial Networks (Variante Pix2PixHD)

• Moderne Diffusion Modelle (Varianten Guided Diffusion (GD) und Super-Resolution via Repeated Refinement (SR3))

Ergebnisse der KI-gestützten Mikroskopie

Die folgende Abbildung zeigt einige der mit verschiedenen generativen Modellen generierten synthetischen REM-Bilder. Expertenbeurteilungen und die Auswertung verschiedener Bildmetriken zeigen: Diffusion Modelle liefern die realistischsten Bilder.

Aber worin liegt der Mehrwert für eine potenzielle spätere Anwendung?

Im Rahmen dieser Leitfrage haben wir untersucht, mit welcher Genauigkeit wir aus diesen aus LM generierten, synthetischen REM-Aufnahmen Gefügekenngrößen wie Größe und Form der ausgeschiedenen Karbide, Bainit-Lattenbreite oder Perlit-Lamellenabstand bestimmen können. Dabei zeigt sich, dass die aus den synthetischen Bildern der Diffusion Modelle bestimmten Gefügekenngrößen nur relative Fehler zwischen 1-12% aufweisen.

Wie können wir erklären, warum generative KI diese komplexe Aufgabenstellung überhaupt bewältigen kann?

Zum einen ist davon auszugehen, dass im LM trotz der geringen Auflösung noch Informationen verborgen sind, die für das menschliche Auge kaum wahrnehmbar sind, für die KI aber sehr wohl. Andererseits kann die KI aus korrelierten Trainingsdaten den Zusammenhang zwischen LM und REM erlernen und, sobald die Auflösungsgrenze im LM erreicht ist, abschätzen, wie diese Strukturen im REM aussehen würden, ähnlich wie ein menschlicher Experte mit jahrelanger Erfahrung.

Implikationen und Ausblick für die KI-gestützte Mikroskopie

• Wir etablieren Diffusion Modelle als den Stand der Technik für den Microscopy Modality Transfer und zeigen das Potenzial der KI-gestützten Mikroskopie zur Verbesserung der Lichtmikroskopie mit struktureller Rekonstruktions-Kapazität im Submikrometerbereich.

• Wir haben den ersten Schritt getan hin zur „Surrogate Microscopy„: mittels KI-gestützter Lichtmikroskopie können wir die Analyse im REM hinreichend genau approximieren und damit die Gefügeanalyse signifikant beschleunigen.

• Im Falle der betrachteten Dualphasenstähle können wir mikrostrukturelle Parameter wie Größe und Form der Karbide, Bainit-Lattenbreiten oder Perlitlamellenabstände schnell und einfach mittels LM bestimmen, wofür sonst eine zeitaufwendigere REM-Analyse nötig wäre.

• Es sind noch weitere Studien nötig, um die Grenzen dieser Ansätze zu bestimmen und einen sicheren Parameterraum für die Anwendung generativer KI zu definieren.

Übersicht der Methodik und Ergebnisse der KI-gestützten Mikroskopie

Ihre Meinung zur generativen KI

Was ist Ihre Meinung zum Einsatz von generativer KI in der Materialwissenschaft und Mikroskopie?

Weitere Informationen zur Forschung

Wir haben unsere Studie open-access publiziert:
https://www.sciencedirect.com/science/article/pii/S1044580324009811