Facebook: Bildanalyse-Tools gratis für alle Entwickler

Alle reden von Augmented oder auch Merged Reality, aber um die virtuelle Welt mit der echten Welt zu verknüpfen müssen die Systeme erstmal lernen und verstehen, wie die Welt um sie herum aussieht. Dabei helfen Algorithmen, die Bilder und Bildteile analysieren und kategorisieren können.

Facebook hat nun drei nützliche Tools für Entwickler als Open-Source veröffentlicht:

DeepMask nutzt tiefe künstliche neuronale Netze, um ein Bild in Segmente zu unterteilen und optimalerweise einzelne Objekte mit einer Maske zu umreißen. Diese Masken sind aber noch recht ungenau.

SharpMask versucht die Masken im nächsten Schritt genauer zu machen.

Im letzten Schritt kommt MultiPathNet, das ebenfalls durch künstliche neuronale Netze versucht, die Objekte zu klassifizieren und zu bestimmen. Dafür werden die Objekte im Kontext des gesamten Bildes betrachtet und auf verschiedenen Ebenen untersucht. Facebook gibt zu, dass die Technik noch nicht ganz perfekt ist, aber dafür, dass sie erst ein paar Jahre alt ist, liefert sie durchaus beeindruckende Ergebnisse.

Welche Anwendungsmöglichkeiten sich daraus ergeben, darauf geht der Blogeintrag ein, in dem Facebook die Technologie vorstellt: So könnten auf Facebook selbst in Zukunft Fotos eine automatische Beschreibung für sehbehinderte Menschen erhalten, beispielsweise "Dieses Foto enthält Meer, Strand, Palmen und drei lächelnde Menschen". Weitere beispielhafte Augmented-Reality-Anwendungen zeigen unter anderem eine Kalorienanalyse von Essen, die Analyse der Vitalzeichen von Menschen in einem Foto oder Objekte in der Wohnung eines Freundes, die man sofort online suchen und kaufen kann, wenn sie einem gefallen.

Quelle(n)