HTC One, Samsung Galaxy Note 3: Wegen Schummeleien aus Benchmark-Topliste entfernt

Frank Ritter 9

Mit dem Samsung Galaxy Note 3 und dem HTC One tauchen, neben weiteren Geräten, mindestens zwei Kassenschlager unter den Android-Smartphones bis auf weiteres nicht mehr in den Benchmark-Toplisten des 3DMark auf. Grund: Tricksereien der Hersteller, um die Geräte in Benchmarks leistungsfähiger erscheinen zu lassen, als sie tatsächlich sind.

HTC One, Samsung Galaxy Note 3: Wegen Schummeleien aus Benchmark-Topliste entfernt

Über den Sinn und Unsinn von Benchmarking-Apps kann man vortrefflich streiten, Fakt ist aber, dass unter Android solche Tools wie Antutu, CF-Bench, GFXBenchmark oder auch der 3DMark von Futuremark zumindest nützlich sind, um das Leistungspotenzial verschiedener Geräte untereinander zu vergleichen. Leider gibt es immer wieder Fälle, in denen Hardware-Hersteller versuchen, sich unlautere Vorteile in verbreiteten Benchmark-Apps zu verschaffen.

Solche Tricksereien funktionieren im Grunde recht einfach: Wenn das von den Geräteherstellern entsprechend angepasste Betriebssystem feststellt, dass eine Benchmark-App läuft, stellt es dabei entweder Leistungsressourcen zur Verfügung, die das Gerät sonst im Alltag nicht erhält (zum Beispiel einen höheren Takt) oder es werden bestimmte Features, beispielsweise rechenintensive Grafikverbesserungen, abgeschaltet, wodurch zwar die Performance steigt, aber die Bildqualität verschlechtert wird. Jahrelang kannte man solche Praktiken nur aus dem Bereich der Grafikkarten für PCs, mit der stetig wachsenden Notwendigkeit von quantifizierbarer Performance bei Mobilgeräten wird aber auch bei Smartphones und Tablets in zunehmendem Maße getrickst.

So wurde kürzlich bekannt, dass das Samsung Galaxy S4 während der Laufzeit von Benchmarks einen CPU- und GPU-Takt in einer Höhe abruft, der dem System sonst, mit nur wenigen Ausnahmen, nie zur Verfügung steht. Dass auf diese Weise erzielte Benchmark-Resultate kein realistisches Bild vom Leistungsspektrum des Gerätes widerspiegeln können, liegt auf den Hand.

benchmark-cheating

Viele Smartphone-Hersteller schummeln bei Android-Benchmarks (Untersuchung/Tabelle: Anandtech)

Dieser Skandal ging noch weiter, denn neben Samsung wenden auch weitere Hersteller solche Praktiken an. So fand Anandtech im Oktober heraus, dass auch HTC, LG und ASUS mit verschiedenen Geräten Benchmarks überlisten, wenn auch in unterschiedlichem Ausmaß und in variierenden Benchmark-Apps. Eine weiße Weste hatten von allen untersuchten Geräten jedoch lediglich die Nexus-Devices, die Modelle von Motorola sowie Nvidias Spieleplattform Shield.

Futuremark, die Macher des systemübergreifenden Benchmarks 3DMark, ziehen nun Konsequenzen aus den Betrügereien: Mit sofortiger Wirkung sind Geräte aus den eigenen Bestenlisten gesperrt, denen die Betrügerei im 3DMark nachgewiesen werden konnte. In einer Presseerklärung heißt es (Übersetzung von uns):

Menschen verlassen sich darauf, dass Futuremark-Benchmarks akkurate und unvoreingenommene Resultate hervorbringen. Aus diesem Grund haben wir klare Regeln für Hardware-Hersteller und Software-Produzenten, die festlegen, wie eine Plattform mit unserer Benchmark-Software interagieren darf. Einfach formuliert: Ein Gerät muss unsere Benchmarks ohne Anpassungen ausführen, so wie jede andere App auch.

Wenn ein Gerät verdächtigt wird, diese Regeln zu brechen, wird es aus den Listen entfernt. 3DMark-Scores von nicht mehr gelisteten Geräten sollten nicht zum Vergleich mit anderen Geräten herangezogen werden. Nicht gelistete Geräte erscheinen ohne Punktzahl am Ende des 3DMark Device Channels und der Beste Mobilgeräte-Liste auf unserer Website.

Laut Anandtech mogeln nur HTC und Samsung im 3DMark, wiewohl weitere Firmen sich in anderen Benchmarks schuldig machen. Hoffen wir, dass die Hersteller den Schuss vor den Bug von 3DMark verstehen und zukünftig davon absehen, ihre Gerät speziell auf Benchmarks hin zu optimieren.

futuremark-3dmark-delisted-devices

Diverse Geräte von HTC und Samsung wurden beim Schummeln erwischt und tauchen in der 3Dmark-Topliste nur noch am Ende auf – mit dem Vermerk „unlisted“

Unter den „Machinae non grata“ befinden sich dann auch diverse „Hochkaräter“: das HTC One, One mini, das Samsung Galaxy Note 3 in der Exynos- wie Snapdragon-Variante und auch das Samsung Galaxy Note 10.1 2014 in jeweils den Varianten mit Samsung- und Qualcomm-Prozessor. In diesem Zusammenhang erwähnenswert ist auch, dass die Sachverhalte rund um jene Benchmark-Mogeleien auch teilweise erklären, warum wir in unseren Testberichten zum Nexus 4 und Nexus 5 stets schlechtere Benchmark-Ergebnisse bei gefühlt gleicher System-Performance gegenüber Geräten mit vergleichbarer Hardware gemessen haben: Google hat es schlicht nicht nötig, zu schummeln und verwendet während der Laufzeit von Benchmarks dieselben bekanntermaßen aggressiven, aber sinnvollen, Throttling-Mechanismen wie für alle anderen Apps auch. Diese Mechanismen sorgen dafür, dass nach gewissen Phasen hoher Beanspruchung CPU und GPU heruntergetaktet werden, um den Energieverbrauch und die Abwärmeproduktion zu limitieren. So sinken zwar die Benchmark-Resultate, diese geben aber die Alltagsperformance besser wieder als die „hochgejazzten“ Geräte der Konkurrenz.

Haben sich die Gerätehersteller wirklich schuldig gemacht oder nutzen sie nur das ohnehin löchrige System Benchmark zu ihrem Vorteil aus? Haben Benchmarks prinzipiell ausgedient? Eure Meinung in die Kommentare.

Quellen: Anandtech, FutureMark [via Slashdot]

Zu den Kommentaren

Kommentare zu dieser News

* Werbung