In zwei neuen Veröffentlichungen untersuchen Forscher der University of Illinois Urbana-Champaign die Rekonstruktion von multispektralen und hyperspektralen Bildern aus RGB-Daten für die chemische Analyse von Süßkartoffeln und Mais.
„Eine RGB-Kamera erfasst lediglich den sichtbaren Bereich in drei Bändern: Rot, Grün und Blau. Die Bilder liefern keine chemischen Informationen, die für die Pflanzenanalyse häufig benötigt werden. Wir haben daher Bilder aus diesen drei Bändern rekonstruiert, um Informationen aus dem Nahinfrarotbereich einzubeziehen, mit denen sich die chemische Zusammensetzung bestimmen lässt“, erklärte Mohammed Kamruzzaman , Assistenzprofessor am Institut für Agrar- und Bioingenieurwesen (ABE), das zum College für Agrar-, Verbraucher- und Umweltwissenschaften und zum Grainger College of Engineering der University of Illinois gehört. Er ist korrespondierender Autor beider Studien.
„Diese Arbeit birgt viele potenzielle Anwendungsgebiete in der Landwirtschaft und kann die Kosten erheblich senken. Während eine Multispektralkamera 10.000 Dollar oder mehr kostet, ist eine RGB-Kamera bereits für wenige hundert Dollar erhältlich“, fügte er hinzu.
Analyse der Süßkartoffeleigenschaften
Im ersten Artikel stellen die Forscher einen großen Datensatz rekonstruierter Bilder für die chemische Analyse von Süßkartoffeln zur Verfügung, auf den jeder zugreifen und den er für seine eigenen Modellierungen verwenden kann.
„Die meisten bestehenden Bildrekonstruktionsmodelle konzentrieren sich auf nicht-biologische Objekte wie Tische und Stühle, die sich stark von biologischen Objekten unterscheiden. Unser Ziel war es, einen RGB-zu-Hyperspektral-Bilddatensatz für eine biologische Probe zu erstellen und ihn öffentlich zugänglich zu machen“, sagte Erstautor Ocean Monjur , Doktorand am Institut für Bioökologie und Biotechnologie (ABE).
Süßkartoffeln sind ein beliebtes Nahrungsmittel und finden zudem in vielen Industriezweigen Verwendung, unter anderem in der Textilindustrie, bei biologisch abbaubaren Polymeren und Biokraftstoffen. Die Bestimmung von Qualitätsmerkmalen wie Brix-Wert (Zuckergehalt), Feuchtigkeit und Trockenmasse ist wichtig, um Verwendung und Wert der Süßkartoffeln zu ermitteln. Chemische Laboranalysen sind zeitaufwendig und zerstören die Proben. Hyperspektrale Bildgebung (HSI) ist zwar schnell, präzise und zerstörungsfrei, aber teuer und komplex.
Aus diesem Grund erstellten die Forscher Agro-HSR, eine umfangreiche Datenbank mit rekonstruierten RGB- und HSI-Bildern für die Landwirtschaft. Der Datensatz umfasst 1322 Bildpaare von 790 Süßkartoffelproben, die von einer oder beiden Seiten jeder Kartoffel entnommen wurden. Anhand von 141 Kartoffelproben wurden Brix-Wert, Festigkeit und Feuchtigkeitsgehalt gemessen, um die Genauigkeit der rekonstruierten Bilder zu bewerten. Dabei zeigte sich eine hohe Übereinstimmung mit den tatsächlichen Messwerten.
Sie testeten ihren Datensatz an fünf gängigen Modellen zur Rekonstruktion hyperspektraler Bilder, um festzustellen, welches Modell die besten Ergebnisse lieferte. Dabei stellten sie fest, dass zwei Modelle (Restormer und MST++) die anderen in allen Metriken durchweg übertrafen.
„Unseres Wissens ist dies der größte Datensatz für die hyperspektrale Bildrekonstruktion, nicht nur für die Landwirtschaft, sondern überhaupt. Wir stellen diese Datenbank zur Verfügung, damit jeder sie zum Trainieren oder Entwickeln eigener Modelle nutzen kann, auch für Modelle für andere landwirtschaftliche Produkte“, sagte Kamruzzaman.
Bewertung des Chlorophyllgehalts für das Maiswachstum
In der zweiten Veröffentlichung beschreiben die Forscher eine neuartige Methode zur multispektralen Bildrekonstruktion, um den Chlorophyllgehalt von Mais zu analysieren. Sie stellen außerdem ein einfaches Gerät vor, mit dem man im Feld fotografieren und sofort Ergebnisse erhalten kann.
„Unsere Zielgröße ist der Chlorophyllgehalt, der ein Indikator für das Pflanzenwachstum ist. Mit diesem Gerät kann man ein Foto aufnehmen, den Chlorophyllgehalt ermitteln und so den Wachstumszustand der Kulturpflanze bestimmen“, sagte Kamruzzaman.
Zur Entwicklung ihres Modells sammelten die Forscher Bilder von drei verschiedenen Standorten: einem Forschungsfeld in Hengshui, China; dem Gewächshaus für Pflanzenbiologie der Universität von Illinois; und der Versuchsstation für Gemüseanbau der Universität von Illinois.
An jedem Standort teilten sie das Gebiet in verschiedene Bodenfruchtbarkeitsstufen ein, und auf der Forschungsfarm in Illinois setzten sie den Mais durch Überschwemmungen während der gesamten Wachstumsperiode drei verschiedenen Stressstufen aus.
In all diesen Szenarien testeten sie verschiedene Modellierungsansätze zur Rekonstruktion multispektraler Bilder aus RGB-Daten. Basierend auf ihren Ergebnissen entwickelten sie ein neuartiges Modell namens Window-Adaptive Spatial-Spectral Attention Transformer (WASSAT), das eine präzisere Anpassung an die tatsächlichen Daten ermöglichte.
„Wir kombinierten spektrale und räumliche Aufmerksamkeitsmodi, um ein adaptives Fenster zu erstellen, das Nutzpflanzen von Boden und anderen Elementen unterscheiden und die Komplexität einer Feldumgebung erfassen kann. Anschließend rekonstruierten wir 10-Band-Bilder, um den Chlorophyllgehalt vorherzusagen, und stellten fest, dass unsere Ergebnisse besser abschnitten als die anderer Modelle“, sagte Erstautor Di Song , Doktorand am ABE.
„Wir haben ein Handgerät entwickelt, das das Modell integriert. Damit kann man RGB-Bilder aufnehmen, die dann in multispektrale Bilder umgewandelt werden und so deutlich mehr Informationen liefern“, erklärte er. „Als Nächstes planen wir, ein Vorhersagemodell hinzuzufügen, sodass der Landwirt einfach ein Foto machen und den Chlorophyllgehalt ablesen kann, ohne die Bilder interpretieren zu müssen.“
