Smartphones: Benchmark-Tuning offenbar weit verbreitet

Laut Anandtech sind fast alle Android-Smartphone-Hersteller am Benchmark-Tunen beteiligt. Besonders beliebt sei das Bevorzugen der CPU-Benchmarks mit Programmiertricks. Scheinbar hat bislang nur Samsung auch an der GPU- (alias Grafik-)Leistung herumgespielt. Samsung dementierte allerdings, dass es sich um explizites Benchmark-Tuning handele (wir berichteten).

Das Galaxy S4 gibt es international in zwei Versionen, einmal mit einem Exynos 5410 Chip und einmal mit einem Snapdragon 600. Beim Exynos erkannte das S4 die Aktivierung bestimmter Benchmarks und erhöhte die erlaubten Grenzen der Hitzeentwicklung und somit die GPU-Frequenz. So wurde ein höheres Ergebnis in Grafikbenchmarks erzielt. Bei sowohl der Snapdragon 600 als auch der Exynos Variante erhöhte das S4 außerdem automatisch beim Benchmark-Start die CPU-Frequenz auf das Maximum. Auf Snapdragon-Geräten wurden zu guter Letzt alle Kerne sofort gleichzeitig aktiviert.

Die einzigen Hersteller, die Anandtech überprüfte, die auf das Benchmark-Tuning verzichten, sind Apple, Google und Motorola – jedenfalls bei den neueren Motorola-Geräten, die getestet wurden. Das dürfte das unerwartet schlechtere Abschneiden des Nexus 4 in Benchmarks im Vergleich zu anderen Geräten mit denselben Chips erklären. Im „reinen“ Android sind keine Benchmark-Schummeleien eingebaut. Samsung, LG, HTC und Asus wurden beim Schummeln - beziehungsweise bei der Leistungserhöhung in Benchmarks - erwischt.

Anandtech arbeitet mit den Benchmark-Entwicklern zusammen, um wiederum die Schummeltricks bei zukünftigen Benchmarks zu überlisten. Es sei nun ein Wettlauf zwischen Benchmark-Machern und den Tuning-Versuchen der Smartphone-Hersteller zu erwarten. Und dabei, wie Anandtech bemerkte, bringe die ganze Schummelei den Herstellern am Ende gar nichts.

Erstens wird das Ergebnis der CPU-Tests nur um 0 - 5 Prozent durch die Tricks beeinflusst und das Ergebnis der GPU-Benchmarks kann nur bis zu unter zehn Prozent verbessert werden. Zweitens füge die schlechte Presse, die sich aus der Schummelei ergibt, den Herstellern einen größeren Schaden zu, als sie von ihren Benchmark-Tricks profitieren. Der Wettlauf zwischen Schummlern und Benchmark-Entwicklern verschlingt Ressourcen, welche die Smartphone-Bastler eher in bessere Chips investieren könnten. Das Abschneiden der Smartphones in realen Anwendungstests sei somit verlässlicher als die theoretischen Benchmark-Ergebnisse.

Andererseits wird verschiedenen Apps von den Smartphone-Machern unterschiedlich viel Leistung zugemessen, was die Effizienz erhöhen soll und im Grunde keine Manipulation darstellt. Dennoch bleibt die Bevorzugung von Benchmarkstests bestehen, auch wenn es aus Sicht der Hersteller naheliegend sein muss, diesen besonders viel Leistung zu gönnen. 

Hier sieht man eine Tabelle von Anandtech über die Hersteller, die Benchmarks mit besonders viel Rechenleistung versorgen und jenen, die Benchmarks nicht besonders bevorzugen. Überall, wo „Y“ (= Yes, also „Ja“) dabei steht, wird an den Rädchen gedreht: