3DMark: Huawei-Smartphones schummeln bei Benchmark-Tests

Der chinesische Smartphone-Hersteller Huawei hat offenbar versucht, bei Benchmark-Tests zu schummeln. Wie das Portal „Anandtech“ berichtet, versuchen die betroffenen Geräte, Benchmark-Software wie das beliebte Tool „3DMark“ zu erkennen und stellen anschließend automatisch mehr Leistung zur Verfügung. Die Prüforganisation Underwriters Laboratories (UL), zu der auch 3DMark gehört, gab unterdessen bekannt, alle entdeckten Schummel-Geräte des chinesischen Herstellers aus den Ergebnislisten zu streichen.

Software-„Optimierung“ wie im Diesel-Skandal

Enttarnt wurden die Huawei-Smartphones P20 Pro, P20, Nova 3 und Honor Play. Alle genannten Modelle basieren auf dem Kirin 970 Octacore-Chipsatz. Wie UL in seiner Stellungnahme weiter schreibt, konnte man mit einer internen Version des 3DMark-Tests die „Optimierungen“ seitens Huawei nachweisen. Wurde die Benchmark-Software, beispielsweise durch eine einfache Umbenennung der App-Dateien, nicht mehr durch die Smartphones als solche erkannt, fiel deren Leistung gegenüber dem „offiziellen“ Test teil dramatisch ab. Das Huawei Nova 3 erreichte so gegenüber 2.917 Punkten aus dem offiziellen Test nur noch 1.534 Punkte in der internen App, was einem Leistungseinbruch von 47 Prozent entspricht.

INFO-BOX: Benchmark
Benchmarking bezeichnet die vergleichende Analyse von Ergebnissen oder Prozessen mit einem festgelegten Bezugswert. Es findet Verwendung in der Betriebs- und Finanzwirtschaft, in der IT- und Computerbranche, bei Prozessen, Produkten und Technologien.
mehr dazu

Da die Regelungen der UL jedoch vorsehen, dass Benchmark-Tests dazu dienen sollen, die typische Performance der Geräte unter maximaler Last zu messen, sind Optimierungen der Performance unzulässig, weshalb die betroffenen Modelle nun abgestraft wurden. Auf die Betrugsversuche angesprochen, verwies Dr. Wang Chenglu, Chef der Softwareabteilung der Huawei Consumer Business Group, auf die auch bei anderen chinesischen Herstellern üblichen Optimierungspraktiken, denen man sich versucht habe anzupassen. Sobald eine Benchmark-App erkannt wird, schalten die Geräte tatsächlich in einen „Performance Modus“, um die maximale Leistung abzurufen. Dabei werden die sonst üblichen Maßnahmen zur Energieeinsparung sowie die Einhaltung bestimmter Temperaturgrenzen außer Kraft gesetzt und der Chip unter absoluter Volllast betrieben. Das Prinzip ist damit durchaus mit dem Softwarebetrug zahlreicher Autohersteller im Diesel-Skandal zu vergleichen.

Huawei gelobt Besserung

In einer Stellungnahme gegenüber „Android Authority“ schrieb Huawei, man wolle zukünftig vor einer Präsentation die ermittelten Benchmarkwerte eines Gerätes von einer unabhängigen dritten Stelle überprüfen und bestätigen lassen. Zudem soll der Nutzer langfristig Zugriff auf den „Performance Modus“ erhalten und so selbst entscheiden können, ob er diesen nutzen will oder nicht. Auch sei man zur Zusammenarbeit mit Partnern bereit, um bessere Standards für die Messung der Leistung von Smartphones zu entwickeln.