Cloudfreie KI Funktionen für mobile Endgeräte, dank SlimLM mit Adobe Unterstützung

Neue KI-Apps für Smartphones können Dokumente lokal und ohne Cloud-Zugriff verarbeiten, dank eines neuen Small Language Models (SLM), das ein Team von KI-Forschern bei Adobe Inc. in Zusammenarbeit mit der Auburn University und Georgia Tech entwickelt haben. Dieses SLM, genannt SlimLM, wurde auf arXiv detailliert beschrieben.

Durch umfangreiche Experimente auf einem Samsung Galaxy S24 haben wir die optimalen Kompromisse zwischen Modellgröße (von 125 Millionen bis 7 Milliarden Parametern), Kontextlänge und Inferenzzeit für eine effiziente Verarbeitung direkt auf dem Gerät identifiziert. SlimLM wurde auf SlimPajama-627B vortrainiert und anschließend auf DocAssist, unserem speziell entwickelten Datensatz für Zusammenfassungs-, Fragebeantwortungs- und Vorschlagsaufgaben, feinabgestimmt. Unser kleinstes Modell zeigt eine effiziente Leistung auf dem Galaxy S24, während größere Varianten verbesserte Fähigkeiten innerhalb der Beschränkungen mobiler Geräte bieten“,

erklärte das Forschungsteam.

Obwohl SlimLM derzeit noch nicht öffentlich verfügbar ist, könnte sich das schon bald ändern. Dieses innovative Programm erlaubt es, die KI-Leistung direkt auf einem Smartphone zu nutzen, um Dokumente lokal zu bearbeiten – ganz ohne Internetverbindung. Während cloudbasierte KI-Lösungen deutlich weniger lokale Rechenleistung benötigen, bieten örtlich ausgeführte Apps einen entscheidenden Vorteil: den Datenschutz. Bislang haben große Player wie Google, Apple und Meta bereits an ähnlichen Apps gearbeitet. Allerdings befinden sich diese noch im experimentellen Stadium, und keine von ihnen hat bisher den Sprung in den Massenmarkt geschafft. Wenn das Forschungsteam hinter SlimLM seine Pläne erfolgreich umsetzt, könnte dies die erste weit verbreitete Lösung ihrer Art werden.

Für alle, die sich für SlimLM und verwandte Technologien interessieren, empfiehlt sich das Buch Demystifying AI: Your Guide to Mastering Small Language Models von Jesse Sprinter. Es ist derzeit für 6,47 Euro im Kindle-Format erhältlich; die Taschenbuchversion kostet 17,29 Euro.