DeepSeek-Klon für 30 Dollar programmiert

Auch wenn sich der genannte Betrag kaum verifizieren lässt, dürfte selbst die Arbeitszeit von Doktoranden etwas mehr wert sein als 30 US-Dollar. Sei's drum: Hier zeigt sich nur noch mehr, dass die Erschütterungen in der Welt der KI-Modelle der letzten Tage keineswegs Überreaktionen waren. Wobei schon seit längerer Zeit KI-Modelle für den Hausgebrauch entwickelt werden, die auf die ganz große Rechenleistung verzichten können.

Während DeepSeek natürlich über die wesentlich größere Datenbasis verfügt, setzten die Forschenden der University of Berkeley ausschließlich auf "Reinforcement Learning" oder verstärkendes Lernen. Die Software nutzt als Grundlage keine menschlich erstellten Daten, sondern ist lediglich imstande, eigene Lösungen zu verifizieren.

Dieses System der Selbstüberprüfung erlaubt es, lange Gedankenketten zu generieren, verlangt gleichzeitig jedoch "Bedenkzeit". Insbesondere bei simplen Aufgaben in Mathematik, aber auch beim Programmieren funktioniert dieses Vorgehen sehr gut, weil die Überprüfung leicht vorgenommen werden kann.

Nach und nach passt sich das Vorgehen an, um mit möglichst wenigen Zwischenschritten zur korrekten Lösung zu gelangen. Ausprobieren und einsehen lässt sich das Ganze via GitHub, wo sämtliche Daten und ein Beispiel für die Funktionsweise zu finden sind. Auch der Zugang zu den gesamten Daten des Programmier-Experimentes wird gewährt.

Durch den Verzicht auf zusätzliche Daten gelingt der sehr schlanke Aufbau von TinyZero, wie die Forschenden ihre KI getauft haben. Dennoch soll sie bei den trainierten Aufgaben wie einem mathematischen Knobelspiel auf dem Niveau der großen Systeme liegen.

Und 30 Euro (oder Dollar) hin oder her: Sind die technischen Grundlagen einmal in der Welt, findet sich (hoffentlich) immer jemand, der oder die Optimierungen und Verbesserungen einbringen kann. Schließlich benötigt ein Smartphone den winzigen Bruchteil an Strom im Vergleich zu einem Großraumrechner und leistet dennoch mehr. Bei KI scheint die Entwicklung nur etwas schneller zu verlaufen.