Wie wir testen

Seit unserem Start vor rund 20 Jahren haben wir tausende Laptops und Smartphones vermessen und getestet. Für unsere Testberichte haben wir einen Kriterienkatalog entwickelt, der alle für den Nutzer relevante Aspekte eines Gerätes überprüfen soll. Abgesehen von klassischen Benchmarks per Software bestehen unsere Testberichte auch aus zahlreichen Hardware-Tests. Da wir neben Laptops auch Smartphones, Tablets und Convertibles testen, ändern sich natürlich auch die Anforderungen zwischen den Testkategorien. Hinzu kommt die stetig voranschreitende Entwicklung neuer Technologien. So versuchen wir kontinuierlich, unsere Testberichte weiterzuentwickeln und zu verbessern. Folgend eine Übersicht aller Testkriterien der Reviews von Notebookcheck und jeweils eine nähere Erklärung:

Das Gehäuse unserer Testgeräte wird unter die Lupe genommen und zufolge folgender Punkte analysiert und bewertet: 

• Design (Farben und Gestaltung)
• Materialien
• Haptik
• Abmessungen
• Gewicht
• Verarbeitung (Spaltmaße, Lackierung, Kanten, Passgenauigkeit, Passgenaugkeit der einzelnen Teile,...)
• Stabilität (Verhalten unter Druck – punktuell/ flächig, Verwindungswiderstand,...)
• Scharniere (Kraftaufwand, Nachwippen, Öffnungswinkel)

Die Bewertung einzelner Punkte liegt auch im Ermessen des jeweiligen Redakteurs und erfolgt nach Rücksprache mit dem Redaktionsteam und dem zuständigen Bereichsleiter. Sie wird im Vergleich mit bisherigen Testgeräten erstellt.

Wir bewerten das Angebot der zur Verfügung stehenden Anschlüsse und ihre Position, etwaige Zusatzfunktionen sowie angebotene Kommunikationsfeatures. Beurteilt werden die zur Verfügung stehenden Kommunikationsmodule wie LAN, WLAN, Bluetooth und Mobilfunk. Neben einem Praxistest der Telefonfunktionen bei Smartphones führen wir auch einen standardisierten Test der Wi-Fi-Funktion durch.

Sofern ein Testgerät über ein SDCard-Lesegerät verfügt, wird dieses einem Test der zu erwartenden Übertragungsraten unterzogen. Zur Anwendung kommt dabei unsere besonders schnelle Referenz-SD-Karte, aktuell eine Angelbird AV Pro V60 128GB microSD. Getestet wird die Übertragungsrate beim Kopieren von großen Datenblöcken (etwa Videos) von der SD-Karte auf das Testgerät mittels des AS SSD Seq. Read Test, sowie die beim Kopieren einer großen Anzahl an einzelnen Bildern. Dafür werden dreimal 250 Stück, etwa 5 MB große Bilder, von der SD-Karte auf das Testgerät übertragen. Die Übertragungszeit wird hierbei von einem eigens entwickelten Programm automatisch erfasst. Folgend zur Orientierung sind die Werte einiger besonders schneller, oder langsamer Geräte dargestellt, sowie einige Geräte aus dem Mittelfeld bei der SD-Karten-Leser-Übertragungsgeschwindigkeit.

Für unseren Wi-Fi-Performance-Test verwenden wir aktuell einen ASUS ROG Rapture GT-AXE11000 Router. Das Testgerät wird in einem Abstand von einem Meter zum Router platziert. Beide Geräte befinden sich dabei auf der gleichen Ebene. Mit dem Router ist ein Server per 2,5-GBit-LAN verbunden. Anhand der Software iPerf3 (Settings: -i 1 -t 30 -w 4M -P 10 -O 3) wird nun die Übertragungsgeschwindigkeit zwischen Server und Testgerät in beiden Übertragungsrichtungen ermittelt. Hierbei wird der schnellste vom Testgerät unterstützte Übertragungsstandard bis Wi-Fi 6E genutzt und zusätzlich ein älterer Standard wie etwa Wi-Fi 5. Während des Tests werden 30 Datenblöcke übertragen. Hier ist ebenfalls feststellbar, ob die Verbindung mit dem Router konstant ist, oder starken Schwankungen unterliegt. 

Wir testen Front- (Webcam/Selfie-Kamera) und Rear-Kamera (Hauptkamera bei Smartphones) und bewerten anhand von standardisierten Referenzkarten, sowie im direkten Praxisvergleich mit aktuellen Flagship-Devices die erreichbare Bildqualität. Überprüft werden unter anderem die Bildschärfe, die Farbdarstellung, der Kontrast, die Lichtempfindlichkeit und die Videofunktion.

Folgend ein Bildvergleich am Beispiel Samsung Galaxy J5 2016. Zum Vergleich stehen drei verschiedenen Szenen zur Verfügung. Das Hauptbild dient zur Navigation der Detailausschnitte im Vergleich mit anderen Geräten.

Geräte sollten möglichst lange haltbar sein und im Ernstfall auch reparierbar. Daher werfen wir, sofern möglich, auch einen Blick in das Innere unserer Testgeräte und überprüfen, welche Upgrade- und Reparaturmöglichkeiten vorhanden sind. Im Sinne der Nachhaltigkeit überprüfen wir auch die Verpackung auf die Nutzung von umweltfreundlichen Materialien, die vom Hersteller angebotene Ersatzteilversorgung, Software-Update-Plan und Hardware-Garantie. Zudem versuchen wir, sofern vom Hersteller bereitgestellt, auch Informationen über den erwartbaren CO₂-Äquivalent-Ausstoß eines Gerätes bereitzustellen. 

Ob Laptop oder Smartphone, alle Geräte kommen mit verschiedenen Eingabegeräten. Dazu gehören Tastatur, Touch- oder Clickpad, Touchscreen, Eingabestifte oder bei Gaming-Handhelds auch die Controller-Elemente.

Wir untersuchen bei Tastaturen:

• Tastenlayout (Anordnung, Größe, Gruppierung, Übersicht, Funktionstasten, Beschriftung)
• Tippgefühl (Hubweg, Druckpunkt, Anschlag, Geräuschkulisse)
• Zusatztasten

 Bei Touchscreens und Touchpads:

• Ansprechverhalten (Oberfläche, Multitouch, Präzision und Geschmeidigkeit)
• Mausersatztasten (Bedienung, Geräuschkulisse)
• virtuelle Tastatur (Layout, Feedback, Ansprechverhalten, Tastengröße)

Natürlich betrachten wir auch Sensoren, Digitizer, digitale Eingabestifte und sonstige Eingabemethoden.

Durch Pulsweitenmodulation (PWM) oder technische Beschränkungen können Bildschirme flackern. Bei der Pulsweitenmodulation wird nicht die Helligkeit der Displaybeleuchtung gedimmt, sondern durch An- und Abschalten der Beleuchtung in sehr kurzen Abständen eine Verringerung der wahrgenommenen Helligkeit erreicht. Je nach verwendeter Frequenz kann es hier zu möglichen Auswirkungen (Ermüdungserscheinungen, Kopfschmerzen,...) auf empfindliche Menschen kommen. Grundsätzlich gilt: Je höher die Frequenz, desto unwahrscheinlicher ein Einfluss auf den Anwender. Eine Liste aller getesteten Geräte, sortiert nach Flackerfrequenz, finden Sie hier.

Teil der Displayanalyse ist auch die Bewertung der Outdoor-Tauglichkeit, sprich des Einsatzes unter freiem Himmel. Hierbei wird praxisnah überprüft, wie das verbaute Display mit besonders hellen Umgebungslichtbedingungen (3000-10000 cd/m² - bedeckt bis sonnig) zurechtkommt und ob dargestellte Inhalte hier noch gut ablesbar sind. Dazu maßgebliche Faktoren sind: Art der Displayoberfläche (matte Panels verhindern störende Reflexionen), etwaige reflexionsmindernde Beschichtungen, Helligkeit des dargestellten Bildes und in Folge auch Bildkontrast.

In Abhängigkeit der vorliegenden Geräteklasse und dem damit zu erwartenden Einsatzgebiet wird von uns die Leistung des jeweiligen Modells einerseits mit diversen Benchmarktests (das sind Programme die einzelne Komponenten oder aber das Gesamtsystem fordern und durch eine erreichte Punkteanzahl bewerten), und andererseits durch den Praxistest mit verschiedenen Programmen und Computerspielen, da sich mit ihrer Hilfe Prozessor und Grafikkarte oft bis aufs Äußerste fordern lassen, getestet. Wenn die Spiele keinen repräsentativen integrierten Benchmark bieten, nutzen wir CapFrameX zum Aufzeichnen der Frameraten.

Vor den Tests wird das System seitens Windows-Updates auf den aktuellen Stand gebracht. Ebenso werden, sofern vom System aktiv vorgeschlagen, bei Geräten mit dedizierter Grafiklösung auch die jeweils aktuellen Grafiktreiber installiert. Es werden keine Veränderungen seitens Taktraten am Testsystem vorgenommen, es sei den dies wird zwecks Demonstrationszwecken explizit angeführt. Durch ein Treiberupdate nach unseren Tests und natürlich durch eventuelle Modifikationen lassen sich oftmals Verbesserungen hinsichtlich Spiele- und Benchmarkperformance erreichen. Unserer Meinung nach liegt es in der Verantwortung des Herstellers, sein System zum Auslieferungszeitpunkt mit aktueller und leistungsfähiger Software auszustatten bzw. Updates für den User so komfortabel wie nur möglich zu gestalten. 

Folgende Bereiche werden hinsichtlich Leistung geprüft: 

• CPU (Cinebench, Blender,...)
• System (PCMark, Crossmark,...)
• DPC-Latenzen (LatencyMon und standartisierter Test)
• Massenspeicher (Crystaldiskmark, AS SSD,DiskSpd-Loop)
• GPU (3DMark, Geekbench,...)
• Gaming (Auswahl aktueller Spiele bzw. populäre ältere Games).

Weiterführende Informationen:

• Vergleich mobiler Grafikkarten - detaillierte Informationen, techn. Daten und Leistungswerte aller verfügbaren mobilen Grafikkarten, sortiert nach ihrer Leistungsfähigkeit
• Benchmarkliste mobiler Grafikkarten - sortierbare Tabelle in der sich alle verfügbaren mobilen Grafikkarten nach verschiedensten Benchmarks und technischen Daten ordnen lassen
• Smartphone Grafikkarten Benchmarkliste - sortierbare Tabelle mit allen verfügbaren Smartphone-Grafiklösungen
• Benchmarkliste mobiler CPUs - sortierbare Tabelle in der sich alle verfügbaren mobilen Prozessoren nach verschiedensten Benchmarks und technischen Daten ordnen lassen
• Smartphone Prozessoren Benchmarkliste - Tabelle mit allen vorrangig in Smartphones eingesetzten Prozessoren
• Spieleliste - Welche GPU kann bei welchen Einstellungen aktuelle Games flüssig wiedergeben
• Notebook SSD und HDD Benchmarks - Tabelle mit zahlreichen Benchmarks von Solid State Drives und Festplatten
• DPC Latenz Ranking - Ergebnistabelle und Informationen rund um das Thema DPC-Latenzen und Echtzeitanwendungen
  

Die Beurteilung der Lautsprecher wird hinsichtlich ihres Klanges, sowie im Zusammenspiel mit der maximal möglichen Lautstärke getroffen. Für unsere Messungen greifen wir erneut auf ein Messmikrofon (Earthworks Audio M23R) und die Messsoftware ARTA, unter Einhaltung der standardisierten Versuchsanordnung zurück. Als Ausgabedatei nutzen wir Pink-Noise, auch als rosa Rauschen bezeichnet. Hier nimmt der Mensch alle Frequenzbereiche des hörbaren Schallspektrums etwa gleich laut wahr. Gemessen wird bei maximaler Lautstärke, ggf. ergänzend auch mit niedrigeren Pegeln, sofern wir ein Übersteuern feststellen können.

In unserem bereitgestellten Frequenzdiagramm können verschiedene Geräte miteinander verglichen werden. Einzelne Frequenzkurven können durch An- bzw. Abwählen der Auswahlboxen ein- oder ausgeblendet werden. Idealerweise sollten alle Frequenzbereiche des hörbaren Spektrums (125 Hz bis 16 kHz) gleich laut sein. Insgesamt sollte sich eine Lautstärke von mindestens 80 dB(A) ergeben.

Wir unterscheiden aktuell bei unseren Tests  vier verschiedene Laufzeittests:

Bei den Testergebnissen ist zu berücksichtigen, dass es sich bei unseren Testsamples in der Regel um Neugeräte handelt, und die volle Akkuleistung erst nach einigen vollständigen Lade- und Entladezyklen erreicht werden kann. Auch die durchgeführten Tests geben lediglich eine Momentaufnahme des Testsystems wieder. Nähere Informationen, wie Sie die Akkulaufzeit Ihres Gerätes optimieren können, finden Sie in folgendem FAQ Artikel.

Jedes von uns im Rahmen eines ausführlichen Berichtes getestete Gerät wird in allen oben angeführten Bereichen bewertet und im Vergleich zu Geräten selber Klasse beurteilt. Das Bewertungsergebnis setzt sich aus insgesamt 12 Punkten zusammen die die erreichte Punkteanzahl in Form von Prozent auf einer Skala von 0-100 definieren (je höher desto besser).
Abschließend erhält das getestete Gerät eine Gesamtbewertung, in der die einzelnen Bewertungspunkte in Hinblick auf die vorliegende Geräteklasse unterschiedlich stark einfließen (Gewichtung).
Mit Ausnahme der Punkte Gehäuse und Eingabegeräte werden sämtliche Bewertungskriterien anhand eines speziellen Algorithmus automatisiert und Datenbank gestützt vorgeschlagen, wobei die gesammelten Mess- und Benchmarkdaten die Grundlage bilden.

Nähere Informationen zu unserem Bewertungssystem finden Sie in diesem Artikel.