CyanogenMod 11 und der Benchmark Booster: Warum sich kaum jemand beschwert [Kommentar]

Tuan Le 16

Wieder einmal erschüttert ein Benchmark-Skandal die Techwelt. Wobei … Genau genommen gibt es zwar einen Skandal, nur die große Erschütterung blieb bislang aus. Nachdem Samsung, Qualcomm und HTC der Manipulation von Benchmarks überführt wurden, sind es nun ausgerechnet die Entwickler der CyanogenMod, die sich mit einem so genannten Benchmark Booster einen Vorteil in den Leistungsvergleichen verschaffen wollen. So wirklich empören will sich darüber aber niemand. Wir suchen nach Gründen.

Aktuell hält ein neues Leistungsprofil Einzug in die Nightly Builds der CyanogenMod, welches die Aktivierung der maximal möglichen Leistung von CPU und GPU bei der Verwendung bestimmter Anwendungen ermöglicht. Das Wort „bestimmt“ ist in diesem Falle wörtlich zu nehmen, da sich sowohl der Quadrant Standard-Benchmark als auch der AnTuTu-Benchmark in dem Code wiederfindet. Soll heißen: Wenn das Betriebssystem registriert, dass diese Anwendungen laufen, schaltet das Gerät in einen Modus, in dem grundsätzlich die maximal mögliche Leistung von der Hardware abgerufen wird. Die entsprechenden Veränderungen im Quellcode der CyanogenMod 11 wurden kürzlich gesichtet und von den Entwicklern im CyanogenMod-Codesystem Gerrit abgenickt – man ist also einverstanden mit dieser Praxis.

Antutu-Quadrant-benchmark-cyanogenmod-code

Kritisch sind solche Benchmark Booster, weil sie damit den Zweck von Benchmarks ad absurdum führen: Theoretisch dienen sie dazu, die Leistung eines Gerätes im Alltag abzubilden und mit anderen Geräten vergleichbar zu machen. Bei Smartphones wird die Leistung, je nach Nutzungsart, zwischen dem Maximaltakt und deutlich niedrigeren Leistungsniveaus austariert – die Hardware läuft nicht immer auf höchstem Niveau, weil auch der Energieverbrauch und die produzierte Abwärme vom System im Blick gehalten werden. Schließlich möchte niemand, dass sein Gerät nur zwei Stunden pro Akkuladung durchhält oder aufgrund von Überlastung beziehungsweise Überhitzung ständig neu startet. Ein Benchmark Booster aktiviert sich dementsprechend nur beim Start einer solchen Applikation und sorgt sozusagen für ein kurzfristiges „Doping“ des Smartphones, um im Benchmark Bestwerte zu erzielen.

Weil manche Hersteller solche Benchmark Booster verwenden und zur Laufzeit von Antutu und Co. stets das höchste Leistungsniveau abrufen, andere jedoch nicht, entsteht ein Ungleichgewicht. Die Praxis wurde von AnandTech zunächst beim Samsung Galaxy S4 aufgedeckt, später um zahlreiche Geräte von Herstellern wie LG und HTC erweitert. Als Konsequenz wurden zahlreiche Geräte mit Performance Booster hochkant aus der Top-Geräte-Liste des 3DMark geworfen. HTC machte beim One (M8) unbeirrt mit dieser Praxis weiter und rechtfertigte dieses Vorgehen halbseiden. Samsung immerhin nahm den Booster per Firmware-Update heraus. Wider aller Skandale kommt nun die CyanogenMod und führt ein solches „Feature“ überraschend ein.

Steve Kondik, seines Zeichens einer der wichtigsten Entwickler der CyanogenMod und CTO der Cyanogen Inc., sieht Benchmark Booster nicht als Problem. Selbst nachdem ein Nutzer ihn darauf hinwies, dass Futuremark auch sämtliche Smartphones mit CyanogenMod von der Benchmarkliste ausschließen könnte, antwortete Kondik gelassen (Übersetzung von uns):

Ich denke es ist total fair. Jedes Qualcomm-Gerät tut dies bereits und man kann den Performance-Modus ohnehin manuell einschalten. Dies wird die Situation verbessern, weil man dazu in der Lage ist, [den Booster] nach Belieben ein- und auszuschalten.

Außerdem wird dies nicht viel am 3DMark ändern, da unsere GPUs bereits verdammt gut skalieren.

Schwer zu sagen, ob sich nun Besitzer von Smartphones mit Qualcomm-CPU oder Nutzer der CyanogenMod nach einem solchen Statement mehr Sorgen um den Rauswurf aus den Benchmark-Toplisten machen müssen. In jedem Falle scheint Kondik keine Skrupel bei der Verwendung des Boosters zu haben. Kein Wunder, orientierte sich das Entwicklerteam seiner Aussage nach doch am großen Vorbild HTC, dessen Benchmark Booster jedoch, wie schon erwähnt, zum umgehenden Rauswurf aus der Topliste von Futuremark führte.

Es ist sicherlich eine Sache, wenn ein Smartphone so angepasst wird, dass es bei hohem Anforderungsprofil eine hohe Leistung bietet – so sollte es sein. Zwei der populärsten Benchmarks als Auslöser im Code für einen künstlichen Hochleistungsmodus zu verwenden – und das auch noch ohne jegliche Reue zuzugeben – hätte jedoch bei den meisten anderen Unternehmen ein gelinde gesagt unfreundliches Feedback von Nutzern und Benchmark-Betreibern gleichermaßen erzeugt.

Überraschenderweise scheint die Resonanz auf derartige Berichte größtenteils aber recht verhalten oder zumindest sachlich zu sein – während bei Android Police hinterfragt wird, ob überhaupt noch jemand auf Benchmarks achtet, dozieren Leser auf XDA-Developers über die praktischen Vorteile eines solchen Performance-Boosters und verteidigen diesen sogar. Zum größten Teil scheint aber Desinteresse bezüglich der Angelegenheit zu herrschen. Das wirkt ein bisschen wie Doppelmoral – insbesondere nach dem Sturm der Entrüstung bei Entdeckung der Angelegenheit bei Samsung.

Bilderstrecke starten(15 Bilder)
Vorbild Android? Funktionen, auf die mein iPhone neidisch ist…

Benchmarks - Objektives Vergleichsmittel im Smartphone-Wettstreit …

LG-G2-Benchmark-meme

Ein Schritt zurück: Aus der PC-Welt herübergeschwappt ist es seit einigen Jahren auch für ambitionierte Smartphone-Nutzer nicht ungewöhnlich, Benchmarks wie AnTuTu, GFXBench oder Quadrant zur Erprobung der Leistungsfähigkeit des eigenen Gerätes zu verwenden. Platt gesprochen: Es handelt sich dabei um „Schwanzvergleiche“. Selbst bei sonst geringem technischem Verständnis herrscht unter Smartphone-Nutzern häufig Wettkampfmentalität. Das eigene Smartphone muss, insbesondere bei Nutzern in den Niederungen des XDA-Developers-Forum, besser sein als das des Gegenübers. Wenn Features wie Duo-Kamera, Fingerabdruckscanner, 50 MP-Kamera, integrierter Beamer oder eine Rückseite aus Walnussholz nicht mehr als Argument für die klare Überlegenheit des eigenen Gerätes ausreichen, müssen Benchmarkergebnisse als eiserner Richter her. Vor allem die Güte und Qualität von Custom ROMs wird nicht selten mithilfe der Resultate entschieden, wo man die vielen CM-Derivate sonst oft kaum voneinander unterscheiden kann.

… oder auch nicht

IDC-Statistik-kaufkriterien-smartphones

Interessant nur, dass tatsächlich kaum jemand Benchmark-Ergebnisse als Kriterium bei der Kaufentscheidung für ein bestimmtes Smartphone nennt: Wie kürzlich in einer Statistik der IDC zu sehen war, ist hier die Akkulaufzeit deutlich stärkerer Faktor zur Kaufentscheidung für die Befragten, ebenso das Betriebssystem und die Marke. Wohlgemerkt: Wir reden hier über den (wirtschaftlich relevanteren) Mainstream, nicht Enthusiasten. Und natürlich sind ein gewisser Teil der Smartphone-Käufer auch iOS-Nutzer, die sowieso keine andere Wahl haben, als zum sauren silbernen Apfel zu greifen. Die hohen Werte beim GFXBench sind es da sicher nicht, die die Massen bei jedem Verkaufsstart eines neuen Gerätes zur Wallfahrt zum nächstgelegenen Apple Store treiben.

In der Tat scheint in der Nutzerschaft auch Konsens darüber zu bestehen, dass Benchmark-Ergebnisse nicht in direktem Zusammenhang zur Performance bei der alltäglichen Nutzung eines Smartphones stehen. Ein deutliches Beispiel ist der jüngste Vergleich zwischen Moto E und Galaxy S5.

Warum ist also die Entrüstung in der Szene so groß, wenn Unternehmen wie Samsung und HTC die Taktraten speziell für den Benchmark hochschalten und dadurch die, angeblich ja so irrelevanten, Ergebnisse zu eigenen Gunsten verfälschen? Man könnte argumentieren, dass es einfach um das Prinzip geht. Eine solche Manipulation ist Betrug und so etwas „macht man einfach nicht“. Aber es steckt mehr dahinter.

Von großen Unternehmen und kleinen Entwicklern

htc-one-cyanogenmod

Beim Benchmark Booster der CyanogenMod 11 gilt die Sorge der Nutzer der Frage, wann sie denn endlich von dem Benchmark Booster profitieren können. Und in der Custom-ROM-Szene sind Entwickler und Nutzer sowieso seit jeher stolz, wenn man den einen oder anderen Benchmark mit gewieften Tricks manipulieren kann - selbst wenn die Performance im Alltag das Scrollen im Webbrowser zu einer Qual macht, hat man wenigstens den fünfstelligen Score im Quadrant Benchmark geknackt, ergo muss noch kein neues Smartphone her.

Umgekehrt tragen vielleicht auch die Medien - unsereins nicht ausgeschlossen - eine Mitschuld an der Geltungssucht im Benchmark-Vergleich, wenn im Hands-On oder Leak zum neuesten Smartphone der obligatorische GFXBench oder AnTuTu Benchmark durchgeführt wird und der Betrachter aufgrund der grandiosen Bestwerte unwillkürlich das Gefühl bekommt, dass das eigene Smartphone nun schon zum alten Eisen gehört.

Ja, Benchmark-Ergebnisse spiegeln nicht die Performance im Alltag wieder; aber sie prägen häufig doch den ersten Eindruck von kommenden Flaggschiffen. Vielleicht liegt es auch daran, dass die Hersteller um jeden Preis gut abschneiden wollen, um nicht schon im Vorfeld schlechter als die Konkurrenz dazustehen. Derartige wirtschaftliche Bedenken treffen beim Widerstand gegen die Benchmark-Manipulation auf taube Ohren - obwohl viele selbst gern zum Overclock für Benchmarks greifen. Wie lässt sich dieses Paradoxon erklären?

Bei vielen Nutzern aus der Custom-ROM-Community herrscht noch das Selbstbild des findigen Garagentüftlers vor. Anders als in früheren Jahrzehnten ist heute nicht mehr ein frisiertes Moped die Trophäe – Eltern und Verkehrshüter wissen zu danken – sondern ein gerootetes, geflashtes, übertaktetes Smartphone. Nicht das Brechen von Geschwindigkeitslimits auf der Straße, sondern das Einstellen von Benchmark-Rekorden ist das Ziel. Das Flashen von Custom-ROMs, die Anwendung von Modifikationen, Overclocks und Tweaks ist für manche – den Autor dieser Zeilen eingeschlossen – ein Mittel geworden, das eigene Smartphone wieder interessant zu machen. Gut, nicht immer funktionstauglich für den Alltag, aber interessant.

Wenn man auf eigene Faust die Taktrate der CPU oder GPU nach oben schraubt, Governor sowie I/O Scheduler einstellt oder gar mit Ramdisks und geänderten Dateisystemen seinen Androiden perfekt für den nächsten Antutu-Durchlauf ausstattet, ist das ein Ausdruck des persönlichen Forschergeistes. Die Widersinnigkeit ist klar: Greift ein großer Konzern hingegen zur Benchmark-Optimierung, ist das unlauterer Wettbewerb in den Augen des Enthusiasten.

Ist Empörung angebracht? Und über wen eigentlich?

Oneplus-one-cyanogenmod11S-camera

Wie ist nun die Vorgehensweise des CyanogenMod-Teams zu bewerten? Die Custom-ROM gilt als das Urgestein in der Community und ist nach wie vor das populärste ROM überhaupt. Aktuell besitzt das ROM über 12 Millionen Nutzer, von jenen Custom ROMs mal nicht zu reden, die aufgrund der Stabilität und Funktionalität mit CM als Basis entwickelt wurden. Eine ganze Armada an Entwicklern sorgt mit viel Eifer und Elan für eine anständige Wartung der verschiedenen Versionen auf Hunderten von Geräten. Heutzutage gibt es kaum ein aktuelles Smartphone, das nicht zumindest mit einer inoffiziell kompilierten Version der CyanogenMod ausgestattet werden kann. Als Produkt der Community genießt die CyanogenMod nach wie vor einen gewissen Vertrauensvorschuss, der sie vielleicht auch vor den kritischen Kommentaren bewahrt. Ein großer Konzern wie Samsung beispielsweise kann hingegen im Prinzip kaum eine Änderung am Android OS durchführen, ohne sich auf massive Kritik aus der Community gefasst zu machen.

Nun handelt es sich bei der CyanogenMod mittlerweile aber auch um ein Produkt der Cyanogen Inc. und manche Skeptiker betrachten den Wandel des unabhängigen XDA-Entwicklers Steve Kondik zum Startup-CTO Steve Kondik mit Argwohn. Zusammen mit OPPO und nun auch mit OnePlus verkauft die Cyanogen Inc. Smartphones mit der eigenen Software rund um den Globus. Vor diesem Hintergrund wirkt es unangemessen, dass sich CyanogenMod solch dubioser Techniken bedient, um Benchmark-Ergebnisse zu verfälschen – selbst wenn diesen nur in bestimmten Teilen der Community überhaupt Relevanz beigemessen wird. Dass von diesen Enthusiasten allerdings wenig Kritik an den neuen Benchmark-Boostern der CyanogenMod geübt wird, sollte niemanden verwundern.

Was sagt ihr zu Benchmarks, Boostern und der CyanogenMod? Meldet euch unten in den Kommentaren zu Wort.

Quellen: CyanogenMod Review (1), (2), (3)

Zu den Kommentaren

Kommentare zu diesem Artikel

* Werbung