I 2017, hvad betyder benchmark-tal overhovedet??

Opdatering, marts 2017: Dette indlæg er blevet opdateret med information om de nyeste telefoner og benchmark-teknikker.

Når det er tid til, at Samsung skal vise os en ny telefon, taler om hardwaren uundgåeligt emnet for benchmarks. Galaxy S8, Samsungs udstillingstelefon for 2017, er ikke anderledes. Og som forventet, bare ved at eksistere, fik disse tal mange mennesker til at tale om dem.

Tallene er inde, men hvad betyder de?

Nogle samtaler om benchmarks er bare inaktiv snak. "Oh sejt! Snapdragon beregner "ting" i en benchmark-applikation om såvel som Exynos" er sjovt at tale om. det er en interessant samtale, der fører til en snak om, hvordan en ny telefon kan opfylde eller overgå vores forventninger, fordi den bruger avanceret hardware til at gøre seje ting. Det er derfor, de fleste af os er her for at tale om ting, der kører Android, og hvordan vi kan bruge dem til at berige vores liv.

Men nogle mennesker bliver seriøse omkring benchmark-tal og betragter dem som en vigtig del af en købsbeslutning. Vi bør alle opmuntre til dette, fordi det altid er fantastisk at have folk begejstrede for noget, men vi bør også tale om, hvad benchmark-tal virkelig betyder i den store sammenhæng. En måde at prøve at sætte tingene i perspektiv er at sammenligne benchmarks for et par nye processorer, som Android-producenter vil købe, med Apples seneste.

Dette betyder ikke, at en iPhone, der bruger A10, automatisk er en bedre oplevelse, end en Galaxy S8 vil være. Der er så meget mere, der afgør, hvad der er bedst, og størstedelen af ​​det er brugerpræferencer. du kan lide, hvad du kan lide, og jeg kan lide, hvad jeg kan lide. Tal i et tweet ændrer ikke på det, og tallene betyder ikke, hvad du måske tror, ​​de betyder.

Hvordan de tal bliver til

Benchmarks på mobiltelefoner er ikke rigtig benchmarking af hardware, i hvert fald ikke som vi tror, ​​de er. De har ikke adgang til selve hardwaren, fordi de bruger operativsystemets applikationslag. De har en vaskeri liste over ting, som de får telefonen til at gøre gennem de API'er, som styresystemet har afsløret, så beregner de, hvor godt det gjorde dem. Der er et mellemlag af en slags at gå igennem for at komme til "hjernerne" bag styresystemet, som er den del, der styrer hardwaren direkte. Så en benchmark-app benchmarker hardwaren igennem noget software.

Du har måske hørt iOS-folk tale om Metal eller Android-folk tale om en NDK. Det er måder, hvorpå applikationer kan interface med hardwaren gennem det mellemliggende lag uden at skulle gennemgå den fulde softwarestak. Bemærk, at benchmark-tallene for Samsungs Exynos 8895 og Qualcomms Snapdragon 835 er meget tæt på hinanden. De bruger begge den samme software, og ydeevneforskellene mellem dem er minimeret på grund af det.

Hvis du køber en telefon, fordi du kan lide at køre benchmarks, bør du nok købe en iPhone.

Apples "mellemlag" er bedre. Lad os smide det derud, hvor vi alle kan se det. Apple bygger sin egen processor med fokus på at gøre visse ting rigtig godt og bygger derefter software, der udnytter det. Google skal bygge software, der kan tilpasses til at fungere med alt. Det har gjort et fantastisk stykke arbejde, og softwaren, der driver en Android-telefon, er en smuk ting, der er utrolig kompliceret. Noget som en benchmarking-app, der bruger Apples grænseflade til hardwaren, har automatisk en fordel over Android, uanset hvem der har bygget det, fordi selve grænsefladen er mere strømlinet og "hurtigere" med iOS. Det sker, fordi hardwaren og softwaren er designet til at arbejde med hinanden og intet andet.

Du benchmarker telefonen som en helhed, ikke kun processoren. Når det kommer til at knuse tal på hver CPU-kerne, gør iPhone 7 Plus det meget bedre.

Lad os se på disse kerner i Apples A10-processor. Den ting er unægtelig den bedste ARM-forbrugerchip, der nogensinde er designet, når det kommer til rå ydeevne pr. kerne. Det er fordi hardwaren er designet til at gøre netop det, og softwaren er designet til at bruge den. Det har vi talte om ARM-arkitektur før, og A10 er et godt eksempel på, hvordan du kan skalere ARM til næsten alt, hvad du vil. Det samme er Qualcomm 835 og Exynos 8895, de er bare designet med forskellige kriterier i tankerne.

Forskellen i benchmark-tal er ikke en tilfældighed

Vi sammenligner dem, fordi de alle er inde i en telefon, men Apple tørster efter at bygge én ARM-processor, der kan drive en iPhone, en iPad og en MacBook. Qualcomm og Samsung bygger processorer til at sælge til andre virksomheder til små mobile enheder. Qualcomm og Samsung kunne bygge en processor, der udmærker sig på de samme områder som A10 og ville fungere godt til en Windows-bærbar computer. Qualcomm er faktisk interesseret i at gøre det, og Snapdragon 835 er virksomhedens første skridt mod det mål.

Om et par år vil vi se en Snapdragon-chip, der kan arbejde hårdt nok til at køre en komplet bærbar computer og stadig være effektiv nok til at blive brugt i en mobilenhed med et lille batteri. Vi vil også se flere chips, der ikke er så kraftige, er endnu mere effektive, når det kommer til batteribrug og er meget billigere. Det vil være de CPU'er, som virksomheder, der laver telefoner, vil købe.

Når du tager et værktøj designet til kun at gøre visse ting i en bestemt rækkefølge og se hvor "hurtigt" de kan gøres, vil A10 altid vinde. Den skal altid vinde, og vi skal have den til altid at vinde. En CPU designet til en 13-tommer MacBook skal udføre enkeltkerneberegninger hurtigere end en Exynos 8895. A10 er ikke den CPU, men det er et skridt i den retning. Og Apple er en teknologivirksomhed, som vi burde ønske at gøre rigtig fede ting for at drive teknologien fremad, ligesom vi ønsker, at Samsung eller Google eller Microsoft skal gøre.

Qualcomm eller Samsung kunne bygge en ARM-processor, der er lige så kraftfuld som A10, men de har ingen grund til at gøre det.

Det lille udsnit af en benchmark-resultattavle, der ikke har nogen sammenhæng, som du ser ovenfor, viser det vigtigste: Disse tal har ringe betydning for, hvor fantastisk noget som en telefon er at bruge. Brugeroplevelsen har ikke meget med hardwaren at gøre, fordi hardwaren har været god nok i et stykke tid nu. Indvoldene i en Galaxy S5 eller Nexus 7 eller Note 4 er mere end nok til at gøre de ting, vi forventer, at en telefon gør, så længe softwaren er til snus. Du behøver ikke tage mit ord på det, bare snuble over til XDA, hvor folk, der ikke vil eller ikke har råd til at købe noget nyere, har bygget skræddersyet software til hver. Vi beder ikke en telefon om at gøre noget kompliceret nok til brug for mere processorkraft end disse enheder kan levere.

Jeg er overbevist om, at selv mobil VR ville være fint, hvis virksomheder plejede at understøtte Vulkan korrekt på deres ældre processorer. Det får vi aldrig at vide, for de involverede virksomheder eksisterer for at lave nye ting og sælge dem til os, og det er der, de fokuserer deres tid og penge. Nye chips er ikke kun designet til at være nye. De tilbyder alle små trinvise stigninger i ydeevne, sikkerhed og effektivitet, og disse små stigninger tæller over tid. Lige nu fokuserer Moores lov ikke på at firedoble ydeevnen i hver generation, den fokuserer på at bruge bedre fremstillingsteknikker for at give mere energieffektive chips og præstationsgevinster er helt naturligt udvikling.

Hvad vi virkelig ser fra disse benchmarks

Hvad vi kan tage væk fra disse benchmark-score er, at den måde, en CPU-kerne beregner ting på og arbejder med GPU-kerner, ikke er brudt. Tallene kan knuses lidt hurtigere med nyere hardware, der er designet til at være mere energieffektive. Den måde en CPU-kerne kan knuse et tal på er ikke længere flaskehalsen, så disse små forskelle og stigninger vil ikke blive bemærket, når du ikke kører en benchmark-applikation. Nyere hardware er måske bedre end sidste års, og en processor er måske bedre end en anden. Ydeevneforøgelserne er reelle, men de udmønter sig ikke i en mærkbar forskel, når du bruger dem, og det gør de ikke, medmindre du springer et par generationer over. At gå fra en Qualcomm S4 Pro til en Qualcomm 835 giver et bump i ydeevnen, som du vil bemærke med det samme. At gå fra en Qualcomm 821 til en Qualcomm 835 gør det ikke.

Galaxy S8 vil bringe en brugeroplevelse, der er bedre end sidste års Galaxy S7. Mange af os her vil betragte det som en bedre oplevelse end Apple tilbyder med iPhone 7, mens mange vil føle det modsatte. Intet af dette er på grund af en benchmark-score.