Ondanks het doorlopen van een enorme terugroepactie op dit moment de Galaxy Note 7 is nog steeds een van de beste telefoons op de markt. En er is iets diep in het hart van elke smartphone-nerd dat fonkelt elke keer dat ze een telefoon bezitten dat iemand met enige mate van autoriteit "de beste" noemt en die bewering verdedigt op een manier waar ze het mee eens zijn met.
Opmerking 7-fans hadden dat gevoel onlangs van hen afgenomen door de slimme mensen van XDA-Developers. Door een combinatie van "echte" tests, benchmarks en systeembewakingstools schrijven de XDA-schrijvers vertelde een verhaal over stotterende prestaties dat leek aan te tonen dat deze glimmende nieuwe telefoon in sommige opzichten de ruimte bovenaan de stapel niet verdiende, zoveel technische recensenten hebben hem geplaatst.
Het is leuk om te lezen, vooral als je maar een beetje begrijpt wat je leest. Voordat je overweegt om je Note 7 terug in de winkel te gooien waar hij vandaan kwam met die zelfgemaakte katapult, zijn er een paar dingen die je moet weten over benchmarks en 'echte wereld'-tests.
Benchmark-apps zijn zinloos
Als u een benchmark-app gebruikt om u te vertellen hoe goed of slecht uw telefoon presteert, krijgt u nergens een compleet beeld. Benchmark-apps waren vroeger geweldig voor het oplossen van problemen, zodat u kon zien of er in de loop van de tijd een vorm van prestatieverlies of schade aan uw apparatuur was opgetreden. Tegenwoordig implementeren veel fabrikanten speciale code die hardware dwingt om boven de typische drempels te presteren wanneer een benchmark-app wordt gebruikt, wat de resultaten onherstelbaar verandert. U meet een versie van de hardware waartoe uw telefoon u anders nooit toegang geeft, dus u krijgt niets anders dan een poging om de hoogste score te behalen als u vandaag benchmark-apps uitvoert.
Als je ziet dat een Note 7 bijna net zo soepel presteert als een Nexus 6P, bedenk dan hoeveel meer dingen die Note 7 doet.
Die prestatieveranderende softwareveranderingen leiden tot een veel groter probleem. Wanneer je een Galaxy Note 7 vergelijkt met een Moto Z Droid-editie en een Nexus 6P, je vergelijkt drie verschillende ervaringen die nooit hetzelfde zullen doen op hetzelfde moment. Samsung en Lenovo hebben beide achtergrondtaken die niet kunnen worden gerepliceerd op de Nexus 6P. Functies die niet kunnen worden uitgeschakeld om een 1:1 vergelijking van de softwareprestaties te krijgen. Als je ziet dat een Note 7 bijna net zo soepel presteert als een Nexus 6P, bedenk dan hoeveel meer dingen die Note 7 doet. Beter nog, kijk eens naar het oneindig veel grondiger Anandtech review van de prestaties van de Note 7 zoals het zich verhoudt tot alle andere goed presterende telefoons, en zie hoe het regelmatig de Nexus 6P overtreft.
Het is waardevol om te testen op zaken als weggevallen frames, en het rapporteren over die weggevallen frames in context is een belangrijk ding om te doen als het uw doel is om potentiële kopers op te leiden en te informeren. Het is moeilijk te zeggen dat dit is gebeurd met de presentatie van XDA, gezien het gebrek aan context of goede vergelijking. Laat de Note 7 meer of minder frames vallen dan de Galaxy S7 of S7 Edge? Zou dit een probleem kunnen zijn dat exclusief is voor de Snapdragon-variant van dit model? Gebeurt dit omdat de nieuwe Grace UI van Samsung met spoed is uitgebracht en in een toekomstige update kan worden verholpen? Geen van deze vragen wordt beantwoord, omdat het doel niet was om te informeren.
Kersen plukken in de "echte wereld"
Niet lang nadat XDA hun bevindingen had gepubliceerd, probeerde een bericht van Vlad Savov van The Verge enige realiteit toe te passen op de eerste internetexplosie. In deze Vladitorium, werd erop gewezen dat sommige bevindingen op XDA niet echt bevindingen waren. Met name beweren dat een verschil van 200 ms bij het starten van apps een voorbeeld was van "gênante prestaties", is dwaas en niet representatief voor hoe mensen daadwerkelijk smartphones gebruiken. XDA schoot terug met meer gegevens, in een poging hun positie te versterken. Het tegenargument, dat een vertraging van 200 ms in de loop van de tijd zo zou oplopen tot een telefoon dat een Note 7-gebruiker zou grijpen een Nexus 6P en sta versteld hoeveel sneller het "voelt" wordt afgedwongen door GIF's die die prestatieverschillen demonstreren.
Het fascinerende aan deze demonstratie is het kersenplukken. De software van Samsung is verre van perfect; in feite, na het verwijderen van 13 apps van mijn glimmende nieuwe Verizon Note 7 en het vinden van acht andere die ik niet kan uitschakelen, wil ik de mijne nu met een hamer inslaan. Zittend die telefoon naast mijn vers Noga-gevulde Nexus 6P, er zijn absoluut aspecten van deze Note 7 die aantoonbaar sneller zijn. De camera start bijvoorbeeld routinematig een volle seconde sneller. Het zou niet moeilijk zijn om een half dozijn voorbeelden te kiezen, ze in een GIF op te nemen en iets te schrijven dat lijkt op een bewijs van hoe superieur de Note 7 is ten opzichte van de Nexus 6P.
Het punt is dat testen in de echte wereld niet zo werkt. Het punt van testen in de echte wereld, zoals de naam al doet vermoeden, is om prestatievoorbeelden te bieden van hoe de hele telefoon functioneert alsof een "gemiddelde" gebruiker de telefoon gaat gebruiken. Het is lastig om die gegevens te gebruiken om de ene ervaring met de andere te vergelijken. In plaats van een 1:1 vergelijking van software aan te bieden terwijl deze functioneert, biedt u een 1:1 vergelijking ervaring, hoe het voelt om de telefoons te gebruiken. Laten zien hoe een menu voor delen wordt geladen, vooral wanneer die telefoons duidelijk niet op dezelfde manier zijn ingesteld met dezelfde apps, past niet echt in die beschrijving. Tenzij je natuurlijk een ander verhaal aansnijdt.
De echte fout in dit alles is een verkeerde veronderstelling dat Samsung's Note 7 en Google's Nexus 6P voor hetzelfde doel zijn gebouwd. Gewoon en simpel, dat zijn ze niet. De Nexus-ervaring van Google is geëvolueerd van een schone Developer Kit naar een demonstratie van het Android Open Source Project met een handvol extra's. De telefoons van Samsung zijn al lang niet meer met AOSP begonnen en er is geen reden voor het bedrijf om op dit moment een andere weg in te slaan.
Samsung-telefoons zijn Android-gebaseerd, niet Android.
Samsung-telefoons zijn Android-gebaseerd, niet Android. Als gevolg hiervan worden Samsung-telefoons geoptimaliseerd op de manier die zij het belangrijkst vinden. Op dit moment zijn die optimalisaties voor het leveren van unieke Samsung-functies, zoals de camera van Samsung, Samsung Pay en de unieke S Pen-functies. Android, waarmee ik het besturingssysteem bedoel, geeft die dingen geen prioriteit. In recente releases is er veel aandacht geweest voor zaken als batterijverbruik wanneer u de telefoon niet gebruikt, te allen tijde beveiliging en een consistente gebruikersinterface van 60 FPS. Het is moeilijk te beweren dat al deze dingen niet belangrijk zijn, maar noch Android van Samsung, noch Android van Google geven prioriteit aan al deze dingen.
Waar het echt op neerkomt, is waar jij als gebruiker prioriteit aan geeft. Als je de veiligste telefoon met een gladde, onbelaste interface wilt, wil je waarschijnlijk wat Google en HTC binnenkort gaan aankondigen. Als je geeft om een geweldige camera en software die is gebouwd om je een heleboel functies te bieden die je wel of niet kunt gebruiken, is de Galaxy Note 7 van Samsung op dit moment moeilijk te verslaan. Proberen te beweren dat de Note 7 op de een of andere manier ondermaats presteert, omdat hij zich niet gedraagt als een telefoon die hij niet was gebouwd om zich te gedragen alsof het belachelijk is, hoe strak je dat verhaal ook probeert in te pakken benchmarks.