Trots att ha gått igenom en massiv återkallelse för tillfället Galaxy Note 7 är fortfarande en av de bästa telefonerna på marknaden. Och det finns något djupt i hjärtat av varje smartphonenörd som blinkar varje gång de äger en telefon att någon med något mått av auktoritet kallar "den bästa" och försvarar det påståendet på ett sätt som de håller med om med.
Note 7-fans fick den känslan borttagen från dem nyligen av de smarta människorna på XDA-Developers. Genom en kombination av "verkliga" tester, riktmärken och systemövervakningsverktyg XDA-skribenterna berättade en berättelse om stamning som verkade visa att den här glänsande nya telefonen på något sätt inte förtjänade utrymmet högst upp i högen så många tekniska recensenter har placerat den.
Det är en rolig läsning, speciellt om du bara förstår vad du läser. Innan du överväger att slänga din Note 7 tillbaka till butiken den kom ifrån med den hemmagjorda katapulten, finns det några saker du bör veta om riktmärken och "verkliga världens"-tester.
Benchmark-appar är meningslösa
Om du använder en benchmark-app för att berätta hur bra eller fruktansvärt din telefon fungerar, får du inte någonstans i närheten av en komplett bild. Benchmark-appar brukade vara bra för felsökning, existerande så att du kunde se om det hade skett någon form av prestandaförlust över tid eller skada på din utrustning. Idag implementerar många tillverkare speciell kod som tvingar den hårdvaran att prestera över de typiska tröskelvärdena när en benchmark-app används, vilket irreparabelt förändrar resultaten. Du mäter en version av hårdvaran som din telefon annars aldrig ger dig tillgång till, så du får inget annat än ett försök till högsta poäng när du kör benchmarkappar idag.
Om du ser en Note 7 prestera nästan lika smidigt som en Nexus 6P, fundera på hur många fler saker som Note 7 gör.
Dessa prestandaförändrande mjukvaruförändringar leder till ett mycket större problem. När du jämför en Galaxy Note 7 med en Moto Z Droid Edition och en Nexus 6P, du jämför tre olika upplevelser som aldrig kommer att göra samma sak samtidigt. Samsung och Lenovo har båda bakgrundsuppgifter som inte kan replikeras på Nexus 6P. Funktioner som inte kan inaktiveras för att få en 1:1 jämförelse av mjukvarans prestanda. Om du ser en Note 7 prestera nästan lika smidigt som en Nexus 6P, fundera på hur många fler saker som Note 7 gör. Ännu bättre, ta en titt på det omätligt mer grundliga Anandtech recension av Note 7-prestanda som den kan jämföras med alla andra högpresterande telefoner, och se hur den regelbundet överträffar Nexus 6P.
Det finns värde i att testa saker som tappade ramar, och rapportering om de tappade ramarna i sammanhanget är en viktig sak att göra när ditt mål är att utbilda och informera potentiella köpare. Det är svårt att säga att det var vad som hände med presentationen från XDA, med tanke på bristen på sammanhang eller korrekt jämförelse. Tappar Note 7 fler eller färre ramar än Galaxy S7 eller S7 Edge? Kan detta vara ett problem exklusivt för Snapdragon-varianten av denna modell? Händer det här för att Samsungs nya Grace UI hasade ut och skulle kunna fixas i en framtida uppdatering? Ingen av dessa frågor är besvarade, eftersom målet inte var att informera.
Körsbärsplockning i den "verkliga världen"
Inte långt efter att XDA publicerade sina fynd, försökte ett inlägg från The Verge's Vlad Savov tillämpa lite verklighet på den första Internetexplosionen. I detta Vladitorial, påpekades det att några av fynden på XDA egentligen inte var fynd. Specifikt att hävda att en skillnad på 200 ms när det gäller att lansera appar var ett exempel på "pinsamt prestanda" är dumt och inte representativt för hur människor faktiskt använder smartphones. XDA sköt tillbaka med mer data, försöker befästa sin position. Motargumentet, att en fördröjning på 200 ms skulle läggas ihop med tiden till en telefon på ett sådant sätt att en Note 7-användare skulle ta tag i en Nexus 6P och bli förvånad över hur mycket snabbare den "känns" upprätthålls av GIF: er som visar dessa prestandaskillnader.
Det som är fascinerande med denna demonstration är körsbärsplockningen. Samsungs mjukvara är långt ifrån perfekt; i själva verket, efter att ha avinstallerat 13 appar från min glänsande nya Verizon Note 7 och hittat åtta till som jag inte kan inaktivera, vill jag liksom krossa mina med en hammare just nu. Sitter den där telefonen bredvid min fräscha Nougat-fylld Nexus 6P, det finns absolut aspekter av denna Note 7 som är bevisligen snabbare. Kameran startar till exempel rutinmässigt en hel sekund snabbare. Det skulle inte vara svårt att cherry picka ett halvdussin exempel, GIF upp dem och skriva något som ser ut som bevis på hur överlägsen Note 7 är Nexus 6P.
Saken är den att det inte är så verkliga tester fungerar. Poängen med tester i den verkliga världen, som namnet antyder, är att erbjuda prestandaexempel på hur hela telefonen fungerar som om en "genomsnittlig" användare skulle använda telefonen. Att använda dessa data för att jämföra en upplevelse med en annan är knepigt, istället för att erbjuda en 1:1-jämförelse av programvara som den fungerar, erbjuder du en 1:1-jämförelse av erfarenhet, hur det känns att använda telefonerna. Att visa hur en delningsmeny laddas, särskilt när dessa telefoner uppenbarligen inte är konfigurerade på samma sätt med samma appar, passar inte riktigt in i den beskrivningen. Såvida du inte driver en annan berättelse.
Det verkliga felet i allt detta är ett felaktigt antagande att Samsungs Note 7 och Googles Nexus 6P är byggda för samma syfte. Enkla och enkla, det är de inte. Googles Nexus-upplevelse har utvecklats från ett rent Developer Kit till en demonstration av Android Open Source Project med en handfull extrafunktioner. Samsungs telefoner har inte börjat med AOSP på länge, och det finns ingen anledning för företaget att överväga en annan väg just nu.
Samsung-telefoner är Android-baserade, inte Android.
Samsung-telefoner är Android-baserade, inte Android. Som ett resultat är Samsungs telefoner optimerade på det sätt som de anser vara viktigast. Just nu är dessa optimeringar för att leverera unika Samsung-funktioner, som Samsungs kamera, Samsung Pay och de unika S Pen-funktionerna. Android, med vilket jag menar OS, prioriterar inte dessa saker. I de senaste utgåvorna har det varit fokus på saker som batteriförbrukning när du inte använder telefonen, säkerhet hela tiden och ett konsekvent 60FPS användargränssnitt. Det är svårt att hävda att någon av dessa saker inte är viktiga, men varken Samsungs Android eller Googles Android prioriterar alla dessa saker.
Vad det här handlar om är vad du som användare prioriterar. Om du vill ha den säkraste telefonen med ett snyggt, lättillgängligt gränssnitt vill du förmodligen ha det som Google och HTC kommer att tillkännage snart. Om du bryr dig om en fantastisk kamera och programvara som är byggd för att erbjuda dig massor av funktioner som du kanske eller inte kan använda, är Samsungs Galaxy Note 7 svår att slå just nu. Att försöka hävda att Note 7 på något sätt är underpresterande eftersom den inte beter sig som en telefon som den inte var byggd för att bete sig som är löjligt, oavsett hur hårt du försöker svepa in den berättelsen riktmärken.