Wat betekenen benchmarkcijfers in 2017 zelfs?

Update, maart 2017: Dit bericht is bijgewerkt met informatie over de nieuwste telefoons en benchmarktechnieken.

Wanneer het tijd is voor Samsung om ons een nieuwe telefoon te laten zien, brengt praten over de hardware onvermijdelijk het onderwerp benchmarks naar voren. De Galaxy S8, de showcase-telefoon van Samsung voor 2017, is niet anders. En zoals verwacht, alleen al door het bestaan ​​van deze cijfers hebben veel mensen erover gesproken.

De cijfers zijn binnen, maar wat betekenen ze?

Een gesprek over benchmarks is gewoon loos gebabbel. "O, gaaf! De Snapdragon berekent de "dingen" in een benchmark-applicatie net zo goed als de Exynos" is leuk om over te praten. het is een interessant gesprek dat leidt tot praten over hoe een nieuwe telefoon aan onze verwachtingen kan voldoen of deze kan overtreffen, omdat hij gebruikmaakt van de modernste hardware om coole dingen te doen. Daarom zijn de meesten van ons hier, om te praten over dingen die Android draaien en hoe we ze kunnen gebruiken om ons leven te verrijken.

Maar sommige mensen nemen benchmarkcijfers serieus en beschouwen ze als een belangrijk onderdeel van een koopbeslissing. We zouden dit allemaal moeten aanmoedigen, want het is altijd geweldig om mensen ergens enthousiast over te maken, maar we moeten ook praten over wat benchmarkcijfers echt betekenen in het grote geheel. Een manier om dingen in perspectief te plaatsen, is door de benchmarks van een paar nieuwe processors die Android-fabrikanten gaan kopen te vergelijken met die van Apple.

Dit betekent niet dat een iPhone met de A10 automatisch een betere ervaring is dan een Galaxy S8. Er is zoveel meer dat bepaalt wat beter is, en het grootste deel is de voorkeur van de gebruiker. jij houdt van wat je leuk vindt en ik hou van wat ik leuk vind. Cijfers in een tweet zullen daar niets aan veranderen en de cijfers betekenen niet wat je zou denken dat ze betekenen.

Hoe die cijfers tot stand komen

Benchmarks op mobiele telefoons benchmarken niet echt hardware, althans niet zoals we denken dat ze zijn. Ze hebben geen toegang tot de hardware zelf omdat ze de applicatielaag van het besturingssysteem gebruiken. Ze hebben een waslijst met dingen die ze de telefoon laten doen via de API's die door het besturingssysteem worden vrijgegeven, en vervolgens berekenen ze hoe goed het hen deed. Er is een soort tussenlaag die moet worden doorlopen om bij de "hersenen" achter het besturingssysteem te komen, het deel dat de hardware rechtstreeks bestuurt. Dus een benchmark-app benchmarkt de hardware door wat software.

Je hebt misschien iOS-mensen horen praten over Metal of Android-mensen praten over een NDK. Dit zijn manieren waarop applicaties kunnen communiceren met de hardware, via die tussenlaag zonder de volledige softwarestack te hoeven doorlopen. Merk op dat de benchmarknummers voor Samsung's Exynos 8895 en Qualcomm's Snapdragon 835 erg dicht bij elkaar liggen. Ze gebruiken allebei dezelfde software en de prestatieverschillen tussen hen worden daardoor geminimaliseerd.

Als je een telefoon koopt omdat je graag benchmarks uitvoert, moet je waarschijnlijk een iPhone kopen.

De "tussenlaag" van Apple is beter. Laten we dat daar neerzetten waar we het allemaal kunnen zien. Apple bouwt zijn eigen processor met de nadruk op het heel goed doen van bepaalde dingen en bouwt vervolgens software die hiervan profiteert. Google moet software bouwen die kan worden aangepast om met alles te werken. Het heeft geweldig werk geleverd en de software die een Android-telefoon aandrijft, is iets moois dat ongelooflijk ingewikkeld is. Zoiets als een benchmarking-app die gebruikmaakt van de Apple-interface voor de hardware heeft automatisch een voordeel via Android, ongeacht wie het heeft gebouwd, omdat de interface zelf meer gestroomlijnd en "sneller" is iOS. Dat gebeurt omdat de hardware en de software zijn ontworpen om met elkaar samen te werken en niets anders.

U benchmarkt de telefoon als geheel, niet alleen de processor. Als het gaat om het kraken van cijfers op elke CPU-kern, doet de iPhone 7 Plus het een stuk beter.

Laten we eens kijken naar die kernen in de A10-processor van Apple. Dat ding is ontegensprekelijk de beste ARM-chip voor consumenten ooit ontworpen als het gaat om ruwe prestaties per kern. Dat komt omdat de hardware is ontworpen om precies dat te doen en de software is ontworpen om het te gebruiken. We hebben sprak eerder over ARM-architectuur, en de A10 is een geweldig voorbeeld van hoe je ARM kunt schalen om zo ongeveer alles te doen wat je maar wilt. Dat geldt ook voor de Qualcomm 835 en de Exynos 8895, ze zijn alleen ontworpen met andere criteria in gedachten.

Het verschil in benchmarkcijfers is geen toeval

We vergelijken ze omdat ze allemaal in een telefoon zitten, maar Apple staat te trappelen om één ARM-processor te bouwen die een iPhone, een iPad en een MacBook van stroom kan voorzien. Qualcomm en Samsung bouwen processors om aan andere bedrijven te verkopen voor kleine mobiele apparaten. Qualcomm en Samsung zouden een processor kunnen bouwen die uitblinkt in dezelfde gebieden als de A10 en geweldig zou werken voor een Windows-laptop. Qualcomm is er echt in geïnteresseerd en de Snapdragon 835 is de eerste stap van het bedrijf op weg naar dat doel.

Over een paar jaar zullen we een Snapdragon-chip zien die hard genoeg kan worden gebruikt om een ​​volwaardige laptop te laten werken en toch efficiënt genoeg is om te worden gebruikt in een mobiel apparaat met een kleine batterij. We zullen ook meer chips zien die niet zo krachtig zijn, nog efficiënter zijn als het gaat om batterijgebruik en een stuk goedkoper zijn. Dit zullen de CPU's zijn die bedrijven die telefoons maken zullen kopen.

Wanneer je een tool neemt die is ontworpen om alleen bepaalde dingen in een bepaalde volgorde te doen en kijkt hoe "snel" ze kunnen worden gedaan, zal de A10 altijd winnen. Het zou altijd moeten winnen en we zouden willen dat het altijd wint. Een CPU die is ontworpen voor een 13-inch MacBook moet sneller single core-berekeningen uitvoeren dan een Exynos 8895. De A10 is niet die CPU, maar het is een stap in die richting. En Apple is een technologiebedrijf dat we echt coole dingen zouden willen doen om technologie vooruit te helpen, net zoals we willen dat Samsung of Google of Microsoft doen.

Qualcomm of Samsung zouden een ARM-processor kunnen bouwen die net zo krachtig is als de A10, maar ze hebben geen reden om het te doen.

De kleine knip van een benchmark-scorebord zonder context die u hierboven ziet, toont het belangrijkste: deze cijfers hebben weinig invloed op hoe geweldig zoiets als een telefoon is om te gebruiken. De gebruikerservaring heeft weinig met de hardware te maken omdat de hardware al een tijdje goed genoeg is. De ingewanden van een Galaxy S5 of Nexus 7 of Note 4 zijn meer dan genoeg om de dingen te doen die we van een telefoon verwachten, zolang de software goed is. Je hoeft me niet op mijn woord te geloven, struikel gewoon naar XDA waar mensen die niet iets nieuws willen of kunnen betalen, voor elk ervan aangepaste software hebben gebouwd. We vragen een telefoon niet om iets ingewikkeld genoeg te doen behoefte meer verwerkingskracht dan deze apparaten kunnen leveren.

Ik ben ervan overtuigd dat zelfs mobiele VR prima zou zijn als bedrijven genoeg zouden geven om Vulkan correct te ondersteunen op hun oudere processors. We zullen het nooit weten, want de betrokken bedrijven bestaan ​​om nieuwe dingen te maken en die aan ons te verkopen en daar besteden ze hun tijd en geld aan. Nieuwe chips zijn niet alleen ontworpen om nieuw te zijn. Ze bieden allemaal kleine incrementele verbeteringen in prestaties, beveiliging en efficiëntie en die kleine verhogingen tellen op in de loop van de tijd. Op dit moment richt de wet van Moore zich niet op het verviervoudigen van de prestaties in elke generatie, maar op het gebruik betere productietechnieken om meer energie-efficiënte chips en prestatieverbeteringen te bieden, zijn gewoon natuurlijk evolutie.

Wat we echt zien van deze benchmarks

Wat we uit deze benchmarkscores kunnen halen, is dat de manier waarop een CPU-kern dingen berekent en met GPU-kernen werkt, niet kapot is. Cijfers kunnen iets sneller worden gekraakt met nieuwere hardware die is ontworpen om energiezuiniger te zijn. De manier waarop een CPU-kern een cijfer kan kraken, is niet langer het knelpunt, dus deze kleine verschillen en verhogingen zullen niet worden opgemerkt als u geen benchmarktoepassing uitvoert. Nieuwere hardware is misschien beter dan die van vorig jaar, en de ene processor is misschien beter dan de andere. De prestatieverbeteringen zijn reëel, maar ze vertalen zich niet in een merkbaar verschil wanneer u ze gebruikt en dat zal niet gebeuren tenzij u een paar generaties overslaat. Als u van een Qualcomm S4 Pro naar een Qualcomm 835 gaat, krijgt u een prestatieboost die u meteen zult merken. Overstappen van een Qualcomm 821 naar een Qualcomm 835 niet.

De Galaxy S8 zal een gebruikerservaring bieden die beter is dan de Galaxy S7 van vorig jaar. Velen van ons hier zullen het een betere ervaring vinden dan Apple biedt met de iPhone 7, terwijl velen het tegenovergestelde zullen voelen. Dit alles komt niet door een benchmarkscore.