Biomechanik

DeepLabCut analysiert mit Künstlicher Intelligenz Bewegungsabläufe von Tieren

Eine neue Software soll künftig Tiervideos besonders schnell und präzise auswerten: Das Programm DeepLabCut wurde von einem Forschungsteam der Universitäten Tübingen und Harvard entwickelt. Die Software basiert auf maschinellem Lernen und kann nach kurzem Training Bewegungsabläufe von Tieren in Videos analysieren. Die Ergebnisse wurden in der Fachzeitschrift Nature Neuroscience veröffentlicht. 

Eierlegende Fruchtfliege, deren Körperteile mit DeepLabCut identifiziert wurden. © Dr. Kevin Cury, Axel Laboratory, Columbia University

„Bisher war es sehr aufwändig, Bewegungen von Körperteilen in Videos zu analysieren“, erklärt Dr. Alexander Mathis, Neurowissenschaftler am Bernstein Center for Computational Neuroscience an der Universität Tübingen sowie der Harvard University „DeepLabCut lernt anhand einiger Beispielbilder, die exakte Position von Körperteilen in allen Bildern eines Videos zu bestimmen.“ Gemeinsam mit Dr. Mackenzie Mathis vom Rowland Insitute at Harvard, sowie Dr. Matthias Bethge, Professor für Computational Neuroscience and Machine Learning an der Universität Tübingen, hat er das Projekt geleitet.

Ausgangspunkt: ein doppeltes Dilemma

Es begann mit einem doppelten Dilemma: Mackenzie Mathis wollte erforschen, wie genau das Zusammenspiel von Händen und Gehirn bei Mäusen funktioniert und hatte dafür Mäuse bei Greifbewegungen auf Video aufgezeichnet. Alexander Mathis hatte unter Laborbedingungen eine Maus gefilmt, die auf einem Laufband laufend einer Riechspur verfolgt. Er wollte herausfinden, wie Mäuse die einzelnen Geruchsfetzen, die sich bei jedem Einatmen ergeben, zu einem Ganzen zusammenfügen. Für beide Vorhaben mussten die Forscher die Bewegungsabläufe genauestens dokumentieren, doch herkömmliche neurowissenschaftliche Methoden lieferten keine befriedigenden Ergebnisse. Alternativ hätten sie Reflektoren auf den Versuchstieren platzieren werden können, um die Körperteilerkennung zu vereinfachen, wie es in Biomechanikstudien üblich ist. „Das kam jedoch nicht in Frage, denn solche Marker beeinträchtigen auch das Verhalten des Tieres“, erinnert sich Alexander Mathis. Sie machten sich daher auf die Suche nach einer Alternative.

Anzeige

Forscherkollege Matthias Bethge schlug den Mathises vor, ein bestehendes Netzwerk umzutrainieren – im Fachjargon transfer learning genannt. Denn fernab der Neurowissenschaften waren im Forschungsfeld des Maschinellen Sehens beeindruckende Methoden zur reflektorfreien Erkennung von Gliedmaßen von Menschen entwickelt worden. Diese, so glaubte Bethge, könnten als Basis für die Tierbewegungsforschung dienen. Die Mathises wählten als Grundlage den Algorithmus DeeperCut, der menschliche Körperhaltungen analysieren kann. In der Vorbereitung lernt DeeperCut anhand hunderttausender Bilder von Katzen, Hunden, Früchten etc. zunächst viele verschiedene sogenannte visuelle Repräsentationen. Die Forscher vermuteten, dass das Netzwerk wegen dieses großen Vorwissens mit nur wenigen Beispielen zur Körperteilerkennung von Tieren umtrainiert werden kann. Ähnlich funktioniert auch das visuelle Lernen von Kindern, die neue Seherlebnisse anhand ihrer Erfahrung aus vorherigen Beobachtungen einordnen können: Ein unbekanntes faustgroßes, ballförmiges Objekt kann als Frucht eingeordnet werden ohne es gleich als Apfel identifizieren zu müssen.

Computer: Training und Transferlernen

Entsprechend trainierten die Forscher ihre eigenen Netzwerke auf Bildern aus Tiervideos von Mäusen und Fruchtfliegen, indem sie bei einigen Aufnahmen die zu beobachtenden Körperteile manuell markierten. Mithilfe dieses Trainings sollte der Computer auf allen übrigen Bildern der Videos die entsprechenden Körperteile erkennen und automatisch markieren können. Der Versuch war überaus erfolgreich: Nicht nur gelang der Lerntransfer vom einen auf das andere Netzwerk, auch der geringe Trainingsaufwand ließ die Forscher staunen. Der neue Algorithmus DeepLabCut konnte bereits ab einem Trainingsdatensatz von 200 Bildern die Körperteile der jeweiligen Tiere in Bewegung erkennen und sie so präzise wie ein Mensch zuordnen.

DeepLabCut als Open Source Software

DeepLabCut kann mit etwas Training fast jedes Tierverhalten auswerten. Das Programm entspricht einem Baukasten und ist sehr benutzerfreundlich konzipiert; Programmierkenntnisse sind hilfreich, aber nicht erforderlich. „Die Software ist frei verfügbar“, betont Mackenzie Mathis „Wir wollen, dass möglichst viele Wissenschaftler und ihre Forschung davon profitieren.“ Mehr als fünfzig Labore nutzen das Programm schon, um beispielsweise die Gangart von Pferden zu vermessen, das Kriechverhalten von Blutegeln zu erforschen oder um Bewegungen von Operationsrobotern aufzuzeichnen.

Ohne die Arbeiten zum Algorithmus DeeperCut wäre den Forschern die Entwicklung von DeepLabCut so schnell nicht möglich gewesen. Als Würdigung der Arbeit der Forscherkollegen ist daher der Name von DeepLabCut an DeeperCut eng angelehnt. „Für den wissenschaftlichen Fortschritt ist das Teilen von Ergebnissen, Daten und auch Algorithmen essentiell wichtig“, betont Bethge. „Daher haben wir DeepLabCut als Open Source Software entwickelt und freuen uns sehr über das positive Feedback unserer Forscherkollegen in den Neurowissenschaften.“

Die Software ist auf viele Versuchsanordnungen übertragbar, kann ohne Programmierkenntnisse bedient werden und ist frei im Internet verfügbar: http://mousemotorlab.org/deeplabcut. Die Ergebnisse der Wissenschaftlerinnen und Wissenschaftler zu DeepLabCut wurden in der Fachzeitschrift Nature Neuroscience veröffentlicht. 

Publikation: 

Mathis et al, DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience, August 20th, 2018. DOI: 10.1038/s41593-018-0209-y

Anzeige

Das könnte Sie auch interessieren

Anzeige
Anzeige

Schnellster Feuchtebestimmer am Markt für Feuchte-/Feststoffgehalt

Der Feuchtebestimmer SMART 6 analysiert den Feuchtegehalt jeder Probe in nur 2 min. Ob nass oder trocken, Feststoff, Pulver oder Suspension – egal! Alle Probenarten werden dank der Kombination Mikrowelle/Halogen schnell und präzise bis zur Gewichtskonstanz getrocknet. Dank der Temperaturkontrolle sind die Messwerte vergleichbar zu den Standardmethoden.

mehr...
Anzeige

Zellbiologie

Das Motorprotein tanzt in unseren Zellen

Motorproteine treiben als molekulare Maschinen viele lebenswichtige Prozesse in unseren Zellen an: Dabei bewegen sie sich „tanzenderweise“ fort, wie Professor Erik Schäffer und sein Team von der Universität Tübingen nun in einer Studie zeigten.

mehr...
Anzeige

Schnelle automatisierte Lösemittel Extraktion

Das EDGE Extraktionssystem ist ein sequentielles System für die schnelle automatisierte Lösemittel-Extraktion. Damit werden unterschiedliche Proben schnell in nur 5 min. extrahiert. Die Extraktionen im EDGE werden unter Druck und bei erhöhten Temperaturen durchgeführt, was zu einer starken Beschleunigung der Reaktionskinetik führt.

Zum Highlight der Woche...