Huawei riktmärke resulterar i privata vs offentliga tester med manipulerad SoC-kraft.
För några veckor sedan täckte vi Huawei använder en professionell DSLR-kamera i en reklam om deras selfie-funktioner, och det verkar som om de bara inte kan sluta hitta sätt att försöka lura konsumenter - den här gången är dess riktmärken de manipulerar.
Jämförelser är en populär och ( tills nu?) legitimt sätt att visa upp en enhets prestanda - oavsett om det är CPU, GPU eller systemprestanda. Hela poängen med riktmärken är att ge konsumenterna ett exakt resultat av hur enheter fungerar under stress.
Tyvärr verkar det som om Huawei har inkluderat en ”benchmark-discovery-mekanism” i några av deras senaste enheter. Vad denna mekanism i huvudsak gör är att driva SoC till en mycket högre effektgräns och termiskt utrymme när den upptäcker att den benchmarkas i vissa appar - vilket resulterar i mycket högre prestandapoäng än vad användare normalt skulle få i daglig användning. Detta är inte bara oärligt, dess farlig för SoC: s livslängd och kan mycket snabbt överhettas av en enhet och minska batteriets livslängd.
Huaweis försvar av denna praxis kan bäst sammanfattas som, ” alla andra gör det också! ” - och tyvärr har de faktiskt rätt. Jämförelsefusk är inte alls något nytt - det var skenande i PC-scenen för ett decennium sedan, och det har också varit i mobilscenen ett tag.
Olika enheter avlistades från 3DMark för benchmarkmanipulering.
Exynos-varianten av Samsung Galaxy S4 fångades med liknande benchmark-fuskmetoder, och redaktörerna för webbplatsen för mobilgranskning AnandTech upptäckte ett stort antal andra smarttelefonleverantörer som också manipulerade benchmarkdata. Detta ledde till att ett antal enheter, som Galaxy S4, Galaxy Note 3, HTC One och många andra avlistad från 3DMark-databasen.
Även om de flesta tillverkare upphörde med beteendet efter att ha kallats ut, fortsatte några - till exempel fortsatte OnePlus fusk i populära riktmärken som GeekBench, men har tydligen stoppat praxis sedan OnePlus 5T - som faktiskt är en bra enhet och är mycket populär i modding- och utvecklingssamhället, så kanske OnePlus kände att de inte gjorde det behöver för att manipulera referensdata.
Tyvärr verkar det som om Huawei hämtar var andra enhetsleverantörer slutade, eftersom det finns verifierade rapporter om Huawei som har manipulerat riktmärken med enheter inklusive Huawei P20, Huawei P20 Pro och Honor Play. I grund och botten hade Huawei P20s prestanda minskat jämfört med Huawei Mate 10 Pro - och vid den tiden sa Huawei att det var en ” firmwareproblem ”- en helt djärv lögn, eftersom det faktiskt berodde på den ovan nämnda referensdetekteringsmekanismen, som utlöser en mycket överlägsen effektgräns för SoC.
Inte bara är detta dåligt för själva SoC, eftersom den totala effektiviteten för SoC minskar när detta görs, eftersom SoC pressas väl utanför av dess normala driftsfönster ( tänk dig att överklocka din CPU så högt som möjligt utan termiskt fett) . Detta är dock också dåligt för marknadsföra sig.
För en får det SoC att se dåligt ut, som om det behov att manipulera referensdata för att vara värda att sälja. För det andra tvivlar det på den kinesiska smarttelefonmarknaden - som redan är full av imitationer, kloner och skuggiga metoder. Dessutom är Huaweis riktmärkebeteende kanske det mest allvarliga att se än, eftersom det verkligen finns ett massiv skillnad i prestandaresultat med referensdetekteringsmekanismen på jämfört med när den är avstängd. Så mycket att AnandTech påpekade att skillnaderna i offentligt tillgängliga referensresultat och deras egna interna test var ' helt häpnadsväckande ”.
Huawei har svarat på att de fick reda på, och som vi sa tidigare var deras svar i grund och botten ” alla andra gör det också ”. Vad de bokstavligen sa ( citat från Dr. Wang Chenglu, programvaruchef på Huawei's Consumer Business Group) var “ andra gör samma sak, får höga poäng och Huawei kan inte hålla tyst. Huawei vill träffas med andra i Kina för att hitta det bästa verifieringsriktmärket för användarupplevelse. ”
Dr. Wang pekade också på andra tillverkare med vilseledande referensnummer och citerade en namnlös populär smarttelefontillverkare i Kina som den största gärningsmannen. Enligt Dr. Wang har fusk med riktmärken blivit 'vanlig praxis i Kina', och även om Huawei vill 'öppna' för konsumenter, har de problem när konkurrenter 'ständigt lägger till orealistiska poäng.' Huawei försöker möta sin stora kinesiska konkurrens, en uppgift som till synes försvåras när andra tillverkare producerar orealistiska poängsiffror.
Sammanfattningsvis Huawei
- Medger att de manipulerar referensnummer
- Medger att alla andra på den kinesiska telefonmarknaden gör det
- Har inga planer på att sluta på grund av # 2.
Hur kan någon förtroende den kinesiska telefonmarknaden efter den här typen av grejer? I vilket fall som helst gjorde Huawei ett uttalande om att företaget kommer att ” se till att framtida riktmärkesdata oberoende verifieras av tredje part ”.
Huawei skickade ett fullständigt svar till XDA:
”Huawei prioriterar alltid användarupplevelsen snarare än att sträva efter höga benchmarkpoäng - speciellt eftersom det inte finns en direkt koppling mellan smartphone-riktmärken och användarupplevelser. Huawei-smartphones använder avancerad teknik som AI för att optimera maskinvarans prestanda, inklusive CPU, GPU och NPU.
När någon startar en fotograferingsapp eller spelar ett grafiskt intensivt spel skapar Huaweis intelligenta programvara en smidig och stabil användarupplevelse genom att tillämpa maskinens fulla funktioner samtidigt som enhetens temperatur och energieffektivitet hanteras. För applikationer som inte är lika kraftintensiva som att surfa på webben, kommer det bara att avsätta de resurser som krävs för att leverera den prestanda som behövs.
I vanliga benchmarking-scenarier, när Huaweis programvara känner igen en benchmarking-applikation, anpassas den intelligent till 'Performance Mode' och ger optimal prestanda. Huawei planerar att ge användare tillgång till 'Performance Mode' så att de kan använda maximal effekt på sin enhet när de behöver.
Huawei - som branschledare - är villiga att samarbeta med partners för att hitta de bästa standarderna för benchmarking som korrekt kan utvärdera användarupplevelsen. ”
Hur som helst, Sann riktmärken sprang förbi AnandTech testade Huawei P20, P20 Pro och Honor Play - och alla enheter utförs på samma sätt, eftersom de alla delar samma HiSilicon Kirin 970 SoC - men varje enhets verkliga prestanda är begränsad av de termiska gränserna, eftersom varje enhet har en olika chassi- och kyldesign. Huawei P20 Pro har de bästa värmerna, så det fungerar bättre i ett verkligt prestandatillstånd.
Redaktören för AnandTech , Andrei Frumusanu, hade följande att säga:
”Tidigare har vi sett att leverantörer faktiskt höjer SoC-frekvenserna eller låser dem till sina maximala tillstånd, vilket höjer prestanda utöver vad som vanligtvis är tillgängligt för generiska applikationer. Vad Huawei istället gör är att öka benchmarkpoängen genom att komma åt det från andra hållet - benchmarking-applikationerna är de enda användningsfall där SoC faktiskt utför sina annonserade hastigheter. Under tiden stryps alla andra verkliga applikationer i betydande grad under detta tillstånd på grund av hårdvarans begränsningar av hårdvaran. Det vi slutligen ser med obegränsad prestanda är kanske den ”sanna” formen av en obegränsad SoC, även om detta är helt akademiskt jämfört med vad användarna faktiskt upplever. ”
Deras diagram visar att Huaweis nyaste telefoner redan når 3,5-4,4W i sitt verkliga prestandatillstånd, medan 3,5W TDP är det maximala belopp som kan upprätthållas. Å andra sidan går telefonen i överdrift med TDP när de utför de allmänt tillgängliga riktmärkena, med effektvärden över 6W och når en topp på 8,5W. Som noterats av AnandTech utlöser dessa siffror snabbt en överhettningsanmälan på enheten, vilket betyder att termiska gränser inte överensstämmer med programvarans förväntningar.
Vad som kan tas från denna situation är att de verkliga prestandasiffrorna inte är stabila eftersom de beror på telefonens temperatur. Huawei blockerar inte GPU: n från att nå sitt högsta GPU-frekvensläge. Standardbeteendet är faktiskt en 'hård termisk strypmekanism [...] som kommer att försöka upprätthålla betydligt lägre SoC-temperaturnivåer och den totala energiförbrukningen.'
Telefonernas normala läge kan uppnå samma toppnivå för energiförbrukning under GPU-referensvärdena som de som publicerats av de icke-gasade varianterna. Dessa siffror faller dock snabbt tillbaka betydligt, och AnandTech konstaterar att telefonen i vissa fall stryker ner till 2,2 W, vilket har en effekt att avsevärt minska prestandan.
I publikationen framgår att riktmärket fuskbeteende till synes bara har införts i årets enheter. Telefoner som Huawei Mate 9 och Huawei P10 påverkas inte, och det verkar som att endast EMUI 8.0 och nyare enheter påverkas. AnandTech fick också höra av Huawei att detta var 'enbart en programvaruimplementering', vilket bekräftade publikationens resultat.
AnandTech publicerade sanna siffror för GPU-prestanda för de drabbade Kirin 970-telefonerna, och slutsatsen är att Huawei är det betydligt efter sina konkurrenter i både GPU-prestanda och effektivitet .
Publikationen publicerade också diagram för effektjämförelse för Kirin 970 och Kirin 960-drivna Huawei-enheter. Diagrammen visar att Huaweis kraftjusteringsjusteringar faktiskt är bättre för användarupplevelsen eftersom de mildrar problemet med högre strömförbrukning. AnandTechs tester av Kirin 960 visade att den hade ”hemska GPU-effektegenskaper”, medan Kirin 970-drivna enheter har en ny strikt strypmekanism för att sänka strömförbrukningen och temperaturerna.
AnandTech nämnde också att den nya strypningspolitiken är meningsfull när man överväger det faktum att både Kirin 960 och Kirin 970 visar maktdrag som ligger mycket över deras hållbara nivåer för deras respektive formfaktorer.
Även om Huawei inte nödvändigtvis har gjort någonting fel genom att införa en ny strypningsmekanism, har de säkert gått in i fusktröskeln genom att utesluta populära benchmarkapplikationer via en vitlista, vilket i det här fallet kallas riktmärkefusk.
UL som förvärvade Futuremark, företaget bakom PCMark och 3DMark, har avnoterat Huawei P20, Huawei P20 Pro, Huawei Nova 3 och Honor Play från 3DMark.
Företaget har verifierat riktmärkefusk på Huawei P20 Pro, Huawei Nova 3 och Honor Play. På grundval av AnandTechs testning och rapportering har den också avnoterat standarden Huawei P20. Användare kommer inte längre att kunna se referensresultaten för de drabbade telefonerna eftersom företaget inte vill vara värd för lurade referensresultat.
Företaget fann att poängen från den offentliga 3DMark-appen var upp till 47% högre än poängen från den privata appen (som inte är tillgänglig för allmänheten), trots att testerna är identiska.
I tillkännagivandet tillade UL att det var glad att se Huawei förbinder sig att anta ett mer öppet synsätt i framtiden. UL anser att valfria prestandalägen som kan ställas in av användaren är tillåtna enligt dess nuvarande regler så länge de är inaktiverade som standard. Företaget säger: 'En enhet måste köra riktmärket som om det vore någon annan applikation.'
Sammanfattningsvis bör alla riktmärken för Huawei GPU-prestanda som togs med offentligt tillgängliga riktmärken inte ses som en representation av den faktiska prestandan.
Huawei nådde UL för att diskutera de bästa metoderna för benchmarktestning och utfärdade ett uttalande:
”Huawei och UL (skapare av 3DMark) har haft omfattande diskussioner om benchmarking-metoder den här veckan och har nått en positiv överenskommelse om nästa steg i samarbetet.
I diskussionen förklarade Huawei att dess smartphones använder en konstgjord intelligent mekanism för resursplanering. Eftersom olika scenarier har olika resursbehov, utnyttjar de senaste Huawei-telefonerna innovativa tekniker som artificiell intelligens för att optimera resurstilldelningen på ett sätt så att hårdvaran kan visa sina funktioner i största möjliga utsträckning, samtidigt som de uppfyller användarnas krav i alla scenarier.
UL förstår avsikten med Huaweis strategi, men motsätter sig att tvinga användningen av ett 'Performance Mode' som standard när en benchmarking-applikation upptäcks av enheten. UL-regler kräver att en enhet kör riktmärket som om det vore någon annan applikation.
Huawei respekterar konsumenternas rätt att välja vad de ska göra med sina enheter. Därför kommer Huawei att ge användarna öppen åtkomst till 'Performance Mode' i EMUI 9.0, så att användaren kan välja när de ska använda maximal effekt på sin enhet.
Huawei och UL har också diskuterat nuvarande vanliga testmetoder för benchmark i allmänhet. UL och Huawei vill delta i en branschrörelse för att utveckla standarder för benchmarking som bäst tillgodoser tillverkarnas, pressens och konsumenternas behov.
För att förhindra förvirring kring aktuella benchmarking-resultat har UL och Huawei tillfälligt avnoterat benchmark-poängen för ett antal Huawei-enheter efter diskussion och kommer att återinföra dem efter att Huawei beviljar alla användare av Huawei-telefoner tillgång till Performance Mode. ”
Taggar Huawei
