Modeling of 3-dimensional shapes and reference populations in medicine and agriculture

Selle, Michael

Dissertation 2024 CC BY 4.0

Published

Modeling of 3-dimensional shapes and reference populations in medicine and agriculture

German
English

Einleitung: Der Größe und Form eines Objektes können wertvolle Informationen über funktionelle Eigenschaften abgewonnen werden. Unterschiede innerhalb einer Population vergleichbarer Objekte ermöglichen es diese in weitere Gruppen zu unterteilen. Durch moderne medizinische Bildgebungsverfahren können Organe im dreidimensionalen (3D) Raum modelliert werden und die Diagnostik unterstützen, beispielspeise durch das Differenzieren von Formen gesunder und erkrankter Patienten. Auch können gewöhnliche Formunterschiede hierdurch herausgestellt werden. In der Landwirtschaft wird die visuelle Begutachtung der äußeren Form von Tieren bereits lange praktiziert, für die Bewertung der Gesundheit, des Verhaltens, des Leistungsvermögens sowie dem Nutzen in der Tierzucht. Das intuitive Verständnis der Menschen für Formen macht digitale Anwendungen für deren Modellierung besonders attraktiv. Daher war ein Ziel dieser Arbeit bei der Klassifizierung auf Methoden zurückzugreifen, welche die Darstellung von 3D-Strukturen berücksichtigen. Ein weiteres Ziel war die Komprimierung der hochaufgelösten, rechenintensiven Daten auf wenige Referenzpunkte. Hierfür wurden CT-Scans vom Menschen sowie Oberflächen-Scans vom Schwein untersucht. Da die Daten ohne weitere Angaben vorlagen (mit Ausnahme des Körpergewichts der Schweine), wurden die Formen mithilfe von aus diesen extrahierten Deskriptoren klassifiziert.

Materialien & Methoden: Es wurden zwei medizinische Datensätze aus öffentlichen Online-Archiven verwendet, welche CT-Scans mit mehreren bereits segmentierten Organen beinhalteten. Zu diesen gehörten die Leber, die Lunge, die Nieren, die Bauchspeicheldrüse sowie die Milz. Nach Überprüfung der Datenqualität verblieben 41 und 50 Scans aus den jeweils entsprechenden Datensätzen. Die landwirtschaftlichen Daten wurden von einem Projektpartner bereitgestellt. Diese wurden auf einem Bauernhof, mithilfe von an der Decke montierten Kameras, erhoben und bilden den Rücken von Schweinen als 3D-Punktwolken ab. Aus diesen Daten wurden zwei Untermengen mit jeweils gleichverteilten Körpergewichten zwischen 50 und 140 kg gezogen. Nach Überprüfung der Datenqualität verblieben 4315 und 254 Aufnahmen aus den jeweiligen Untermengen. Übrigens stammen aus letzterer alle Aufnahmen eines Tieres innerhalb desselben Tages ab.

Die relevanten Organe wurden zunächst aus den CT-Daten extrahiert und in 3D-Objekte umgewandelt. Innere Strukturen, wie die Bronchien der Lunge, wurden entfernt. Anschließend wurde die Auflösung der 3D-Objekte reduziert und die Oberflächen geglättet. Dann wurden Korrespondenzen zwischen Punkten mehrerer Objekte hergestellt. Hiernach wurden die folgenden Form-Deskriptoren ermittelt: Das Verhältnis von Oberfläche zu Volumen, punktweise mittlere Krümmungen sowie die Verhältnisse Euklidischer zu geodätischer Längen zwischen 500 zufällig ausgewählten Punkte-Paaren. Letztlich wurden alle Organe, angeordnet nach Individuen, auf Grundlage der Form-Deskriptoren mithilfe der Multiplen Co-Inertia Analyse (MCIA) in denselben niedrig-dimensionalen Raum projiziert. Alternativ wurden die Organe mithilfe der Hauptkomponentenanalyse (PCA) in getrennte niedrig-dimensionale Räume projiziert. Die Verteilung der gesamten Population wurde dann mithilfe von Bagplots näher untersucht.

Bei den landwirtschaftlichen Daten wurden zunächst die 3D-Punkte entfernt, welche den Kopf und den Schwanz der Tiere repräsentieren. Anschließend wurden 153 Referenzpunkte gleichmäßig auf der Oberfläche der Tiere verteilt. Als Orientierung wurden dabei die Mittelpunkte der Schulter und der Hüfte verwendet. Die Genauigkeit der Lage dieser Mittelpunkte wurde überprüft, indem die geodätische Länge zwischen diesen in der zweiten Untermenge (n = 254) vermessen wurde. Die Referenzpunkte wurden so angeordnet, dass diese zeitgleich als Kontrollpunkte zum Berechnen von Bézier-Oberflächen dienten, mithilfe welcher die Oberflächen rekonstruiert wurden. Die Genauigkeit der Oberflächen-rekonstruierung wurde mithilfe unterschiedlicher Anzahl von 2 – 32 Bézier-Oberflächen getestet. Danach wurde aus der ersten Untermenge (n = 4315) ein statistisches Formenmodell (SSM) erstellt, welches Modi abbildet, entlang derer Richtungen die Formen streuen. Manche dieser Modi wurden behutsam ausgewählt, um die Pose der Tiere anzugleichen. Weiterhin wurde das Körpergewicht mithilfe des Körpervolumens geschätzt. Zuletzt wurden die einzelnen Formen nach punktweisen Distanzen zur mittleren Form gruppiert.

Ergebnisse: In beiden Datensätzen wurden durch die MCIA Individuen als Ausreißer klassifiziert. Im Gegensatz haben sich durch die PCA keine Individuen als Ganzes als Ausreißer ergeben. Dafür wurden hier häufiger einzelne Organe als Ausreißer detektiert. Insgesamt betrachtet wurden unter Anwendung der MCIA signifikant häufiger (p < 0.05) Organe desselben Individuums einer Bagplot-Region zugewiesen.

Die geodätischen Abstände zwischen Mittelpunkt der Schulter und der Hüfte innerhalb eines Tieres befanden sich überwiegend unterhalb eines Interquartilabstandes von 50 mm. Der Fehler der Oberflächenrekonstruierung reduzierte sich mit zunehmender Anzahl an Bézier-Oberflächen. Bereits acht Oberflächen reichten für einen Fehler von 2,5 mm aus. Die Verwendung von 32 Oberflächen führte zu einem Fehler von 1,3 mm. Das Formenmodell zeigte Streuungsrichtungen auf, welche die Größe, die Form, die Pose, Asymmetrie und systemische Fehler beschrieben. Die Scores des Formenmodells konnten genutzt werden, um nach bestimmten Formen zu filtern. Weiterhin hat die Angleichung der Posen visuell betrachtet gute Ergebnisse erzielt. Die Schätzung des Körpergewichts zeigte für die mit 32 Bézier-Oberflächen rekonstruierte Form, mit einem mittleren absoluten Fehler von 2.86 kg, den niedrigsten Fehler auf. Der Fehler der Formen mit angeglichenen Posen belief sich auf 3.55 kg, der Fehler der Ausgangsdaten auf 5.06 kg. Außerdem konnte gezeigt werden, dass Objekte nach lokalen Unterschieden zur mittleren Form gruppiert werden.

Diskussion: Die Kombination von Dimensionsreduktion und Bagplots stellt eine einfache und rapide Methode dar, um Form-Verhältnisse abzubilden. Dies ist nützlich für die Identifizierung von Gruppen sowie Ausreißern und eignet sich hiermit als Tool für Qualitätskontrollen dieser Daten. Insbesondere MCIA zeigte sich nützlich, um technische Ausreißer zu erkennen. Biologische Ausreißer hingegen sind nicht so einfach zu definieren, wenn weder klinische Daten vorhanden sind noch die notwendige medizinische Expertise vorliegt. Daher bietet es sich an, Deskriptoren zu verwenden, welche von klinischer Relevanz sind. Die unterschiedlichen Ergebnisse der MCIA und der PCA zeigen auf, dass die Verwendung mehrerer Methoden zur Dimensionsreduktion sinnvoll erscheinen mag, um sowohl das Individuum als Ganzes, aber auch einzelne Organe mit höherer Zuverlässigkeit charakterisieren zu können.

Aufgrund der schwachen Definition der Form vom Schweinerücken war es eine Herausforderung, wiedererkennbare Stellen zu identifizieren. Die Bestimmung der Mittelpunkte von Schulter und Hüfte waren jedoch bereits äußerst hilfreich für die weitere Datenprozessierung. So war es möglich mithilfe des Schultermittelpunktes die Datenpunkte der recht variablen Kopfregion zu entfernen, wodurch die Gewichtsschätzung deutlich besser wurde. Auch dienten die Mittelpunkte von Schulter und Hüfte als Ausgangslage zum Verteilen weiterer, gleichmäßig angeordneter Referenzpunkte. Die Modi des SSM ließen sich gut visuell interpretieren, sodass es denkbar erscheint, eine Form mit nur wenigen numerischen Parametern beschreiben zu können. Schließlich wurden die Schweine anhand lokaler Unterschiede zur mittleren Form unterschieden, was ein großes Potenzial für die Übertragung auf reale Aufgaben, wie zum Beispiel in der Tierzucht, bietet.

Introduction: The size and shape of an object may inhabit valuable information associated with its functions. Differences within a population of comparable objects allow them to be subdivided into further groups. In medical imaging, the modeling of 3‑dimensional (3D) organs can be useful for diagnostic purposes to differentiate between shapes of healthy and diseased patients, but may also be relevant to understand variations within the scope of the ordinary. In agricultural settings, visual assessment of the individual animal follows a long history. It is relevant for the evaluation of health, behavior, performance as well as for deciding whether an animal is suitable for breeding. As humans have an intuitive understanding of form, visualizing such tasks on a computer makes interpretation of data particularly convenient. Hence, the aim of this work was to classify 3D shapes while resorting to traditional and modern techniques that preserve the possibility for visual interpretation. Further aims included the compression of the high-resolution, compute-intensive 3‑dimensional data to a smaller number of reference points. For that, computed tomography (CT) scans of human patients and body surface scans of pigs were examined. As the data came with no annotations (except for the body weight of pigs), the shapes were classified based on extracted shape descriptors.

Materials and Methods: Two medical datasets were retrieved from public repositories, which included pre-segmented multi-organ CT data. Among the investigated organs were the liver, lungs, kidneys, pancreas and spleen. After quality control, scans of 41 and 50 individuals remained for further analyses, respectively. The agricultural data was provided by collaborators, collected on a farm and representing partial 3D point clouds of pigs, which were recorded by ceiling-mounted cameras. Two subsets were sampled, of which 4,315 and 254 records remained after quality control. For both subsets, the body weight of the animals was evenly distributed within a range from 50 – 140 kg. Furthermore, for the second subset, it was ensured that all records per individual pig were taken on the same day.

For the medical data, the relevant organs were isolated and converted to 3D surface mesh objects. Internal structures, such as bronchi of the lungs, were removed. Hereafter, the 3D mesh objects were reduced in density and their surfaces smoothened. Then, point correspondences among all objects, which belong to the same organ, were established. Feature extraction of shape descriptors from each mesh object included the ratio of surface area to volume, vertex-wise mean curvatures as well as the ratios of Euclidean to geodesic lengths between 500 randomly sampled pairs of vertices. Finally, all organs, organized by individual, were projected into the same low-dimensional space via multiple co-inertia analysis (MCIA), or separately via principal component analysis (PCA). The distribution of the population was investigated with the help of Bagplots.

For the agricultural data, first the data points of the head and the tail were removed. Then, 153 evenly spaced reference points were sampled across the surface with respect to the position of the shoulder and the hip centroids. The accuracy of the localization of the aforementioned centroids was validated, comparing the length of the geodesic path on shapes of the second dataset (n = 254). The reference points, arranged so that they simultaneously function as control points for Bézier surfaces patches, were used to reconstruct the original surface. Different configurations, which take subsets of these control points and ranged from 2 ‑ 32 patches, were tested. Then, a Statistical Shape Model (SSM) was built from the first dataset (n = 4,315). After examination, some modes of variation were used to normalize the posture of the pigs. Based on the body volume, the body weight was predicted via linear regression. At last, shapes were clustered by computing pairwise distances to the vertices of the mean shape.

Results: In both instances, individuals were classified as outliers after multi-organprojection via MCIA. In turn, no individuals were classified as outliers via PCA. However, for the latter, more solitary organs were found as outliers. Altogether, for MCIA, organs from the same individual were significantly (p < 0.05) more often located in the same Bagplot region.

The intra-individual difference for the geodesic length between shoulder and hip centroid was for most pigs below an interquartile range of 50 mm. The surface reconstruction error decreased with an increase in the number of surface patches. Eight surface patches sufficed to reach an error of 2.5 mm, whereas the minimum error, taking 32 patches, attributed to 1.3 mm. The SSM revealed modes of variation that were descriptive of size, shape, posture, asymmetry and systemic errors. It was shown that the SSM scores could be utilized to query specific shapes and that the applied posture normalization resulted in shapes with relatively similar posture. The body weight prediction was best, with a mean absolute error of 2.86 kg, for the reconstructed surfaces in comparison to the posture-normalized shapes (3.55 kg) and original 3D point clouds (5.06 kg). It was further showcased that shapes clustered together by their local differences to the mean shape.

Discussion: It was demonstrated that the combination of dimension reduction with Bagplots could be used as a fast and straightforward approach to describe the relations among shapes from the same individual, beneficial for the identification of clusters, outlier detection and quality control. MCIA, in particular, was shown to be useful for the interpretation of technical outliers. Biological outliers were more difficult to judge without clinical data and medical expertise. Here, the feature extraction of clinically more relevant shape descriptors could be helpful. The differing results between MCIA and PCA indicate that it is advisable to apply multiple methods, considering both solitary organs and the individual as a whole.

While it was challenging to identify recognizable features on the partial representation of the pigs’ body, the localization of the shoulder and hip centroids served well for downstream processes. Enabling the robust removal of data points corresponding to the head, the body weight prediction considerably improved. In addition, it was made possible to reconstruct the surfaces with high precision, while simultaneously reducing each point cloud to a small number of regularly arranged reference points. Furthermore, the modes of variation revealed well-interpretable directions of change in size and shape, so that each shape can be described by few numerical parameters. At last, pigs were discriminated by local differences to the mean shape, with great potential for transfer to real-world tasks, such as animal breeding.