I 2017, hva betyr referansetall egentlig??

Oppdatering, mars 2017: Dette innlegget har blitt oppdatert med informasjon om de nyeste telefonene og benchmark-teknikkene.

Når det er på tide for Samsung å vise oss en ny telefon, tar snakk om maskinvaren uunngåelig opp temaet benchmarks. Galaxy S8, Samsungs utstillingstelefon for 2017, er ikke annerledes. Og som forventet, bare ved å eksistere, fikk disse tallene mange mennesker til å snakke om dem.

Tallene er inne, men hva betyr de?

Noen samtaler om benchmarks er bare tom skravling. "Å, kult! Snapdragon beregner "ting" i en benchmark-applikasjon om så vel som Exynos" er morsomt å snakke om. det er en interessant samtale som fører til å snakke om hvordan en ny telefon kan møte eller overgå forventningene våre fordi den bruker toppmoderne maskinvare for å gjøre kule ting. Det er derfor de fleste av oss er her for å snakke om ting som kjører Android og hvordan vi kan bruke dem til å berike livene våre.

Men noen ser alvorlig på referansetall og anser dem som en viktig del av en kjøpsbeslutning. Vi bør alle oppmuntre til dette fordi det alltid er flott å ha folk begeistret for noe, men vi bør også snakke om hva referansetall egentlig betyr i den store sammenhengen. En måte å prøve å sette ting i perspektiv er å sammenligne standardene til et par nye prosessorer som Android-produsenter vil kjøpe med Apples nyeste.

Dette betyr ikke at en iPhone som bruker A10 automatisk er en bedre opplevelse enn en Galaxy S8 vil være. Det er så mye mer som avgjør hva som er best, og mesteparten av det er brukerpreferanser. du liker det du liker og jeg liker det jeg liker. Tall i en tweet vil ikke endre det, og tallene betyr ikke det du kanskje tror de betyr.

Hvordan disse tallene blir til

Benchmarks på mobiltelefoner er egentlig ikke benchmarking av maskinvare, i hvert fall ikke slik vi tror de er. De har ikke tilgang til selve maskinvaren fordi de bruker operativsystemets applikasjonslag. De har en vaskeliste over ting de lar telefonen gjøre gjennom API-ene som er eksponert av operativsystemet, så beregner de hvor godt det gjorde dem. Det er et slags mellomlag å gå gjennom for å komme til «hjernen» bak operativsystemet, som er den delen som styrer maskinvaren direkte. Så en benchmark-app benchmarker maskinvaren gjennom noe programvare.

Du har kanskje hørt iOS-folk snakke om Metal eller Android-folk snakke om en NDK. Dette er måter applikasjoner kan kommunisere med maskinvaren, gjennom det mellomliggende laget uten å måtte gå gjennom hele programvarestabelen. Legg merke til at benchmark-tallene for Samsungs Exynos 8895 og Qualcomms Snapdragon 835 er svært nær hverandre. De bruker begge samme programvare, og ytelsesforskjellene mellom dem er minimert på grunn av det.

Hvis du kjøper en telefon fordi du liker å kjøre benchmarks, bør du sannsynligvis kjøpe en iPhone.

Apples «mellomlag» er bedre. La oss kaste det ut der vi alle kan se det. Apple bygger sin egen prosessor med fokus på å gjøre visse ting veldig bra, og bygger deretter programvare som drar nytte av det. Google må bygge programvare som kan tilpasses til å fungere med hva som helst. Den har gjort en fantastisk jobb, og programvaren som driver en Android-telefon er en vakker ting som er utrolig komplisert. Noe som en benchmarking-app som bruker Apples grensesnitt til maskinvaren, har automatisk en fordel over Android, uansett hvem som har bygget det, fordi selve grensesnittet er mer strømlinjeformet og "raskere" med iOS. Det skjer fordi maskinvaren og programvaren ble designet for å fungere med hverandre og ingenting annet.

Du benchmarker telefonen som en helhet, ikke bare prosessoren. Når det kommer til å knuse tall på hver CPU-kjerne, gjør iPhone 7 Plus det mye bedre.

La oss se på disse kjernene i Apples A10-prosessor. Den tingen er unektelig den beste ARM-brikken for forbruker som noen gang er designet når det kommer til rå ytelse per kjerne. Det er fordi maskinvaren ble designet for å gjøre nettopp det, og programvaren ble designet for å bruke den. Det har vi snakket om ARM-arkitektur før, og A10 er et godt eksempel på hvordan du kan skalere ARM til å gjøre omtrent alt du vil. Det samme er Qualcomm 835 og Exynos 8895, de ble bare designet med forskjellige kriterier i tankene.

Forskjellen i benchmark-tall er ikke tilfeldig

Vi sammenligner dem fordi de alle er inne i en telefon, men Apple er tørst etter å bygge én ARM-prosessor som kan drive en iPhone, en iPad og en MacBook. Qualcomm og Samsung bygger prosessorer for å selge til andre selskaper for små mobile enheter. Qualcomm og Samsung kunne bygge en prosessor som utmerker seg på de samme områdene som A10 og som ville fungere utmerket for en bærbar Windows-bærbar. Qualcomm er faktisk interessert i å gjøre det, og Snapdragon 835 er selskapets første skritt mot det målet.

Om et par år vil vi se en Snapdragon-brikke som kan jobbes hardt nok til å kjøre en fullverdig bærbar datamaskin og fortsatt være effektiv nok til å brukes i en mobilenhet med et lite batteri. Vi vil også se flere brikker som ikke er like kraftige, er enda mer effektive når det kommer til batteribruk og er mye billigere. Dette vil være CPU-ene som selskaper som lager telefoner vil kjøpe.

Når du tar et verktøy designet for å bare gjøre visse ting i en bestemt rekkefølge og se hvor "raskt" de kan gjøres, vil A10 alltid vinne. Den skal alltid vinne, og vi bør ønske at den alltid skal vinne. En CPU designet for en 13-tommers MacBook må utføre enkeltkjerneberegninger raskere enn en Exynos 8895. A10 er ikke så CPU, men det er et skritt i den retningen. Og Apple er et teknologiselskap som vi burde ønske å gjøre veldig kule ting for å drive teknologien fremover akkurat som vi vil at Samsung eller Google eller Microsoft skal gjøre.

Qualcomm eller Samsung kan bygge en ARM-prosessor som er like kraftig som A10, men de har ingen grunn til å gjøre det.

Det lille klippet av en resultattavle som ikke har noen sammenheng du ser ovenfor viser det viktigste: Disse tallene har liten betydning for hvor flott noe som en telefon er å bruke. Brukeropplevelsen har lite med maskinvaren å gjøre fordi maskinvaren har vært god nok en stund nå. Innmaten til en Galaxy S5 eller Nexus 7 eller Note 4 er mer enn nok til å gjøre de tingene vi forventer at en telefon skal gjøre så lenge programvaren er opp til snus. Du trenger ikke ta mitt ord på det, bare snuble over til XDA hvor folk som ikke vil eller ikke har råd til å kjøpe noe nyere har bygget tilpasset programvare for hver. Vi ber ikke en telefon om å gjøre noe komplisert nok til trenge mer prosessorkraft enn disse enhetene kan levere.

Jeg er overbevist om at selv mobil VR ville vært bra hvis selskaper brydde seg nok til å støtte Vulkan riktig på sine eldre prosessorer. Vi får aldri vite det fordi de involverte selskapene eksisterer for å lage nye ting og selge dem til oss, og det er der de fokuserer tid og penger. Nye sjetonger er ikke bare laget for å være nye. De tilbyr alle små inkrementelle økninger i ytelse, sikkerhet og effektivitet, og de små økningene øker over tid. Akkurat nå fokuserer ikke Moores lov på å firedoble ytelsen i hver generasjon, den fokuserer på å bruke bedre produksjonsteknikker for å gi mer energieffektive brikker og ytelsesgevinster er helt naturlig utvikling.

Hva vi egentlig ser fra disse benchmarkene

Det vi kan ta bort fra disse referanseresultatene er at måten en CPU-kjerne beregner ting på og fungerer med GPU-kjerner ikke er ødelagt. Tall kan knuses litt raskere med nyere maskinvare som er designet for å være mer energieffektiv. Måten en CPU-kjerne kan knuse et tall på er ikke lenger flaskehalsen, så disse små forskjellene og økningene vil ikke bli lagt merke til når du ikke kjører en benchmark-applikasjon. Nyere maskinvare kan være bedre enn fjorårets, og én prosessor kan være bedre enn en annen. Ytelsesøkningene er reelle, men de betyr ikke en merkbar forskjell når du bruker dem, og vil ikke gjøre det med mindre du hopper over noen generasjoner. Å gå fra en Qualcomm S4 Pro til en Qualcomm 835 gir en støt i ytelsen som du vil legge merke til med en gang. Å gå fra en Qualcomm 821 til en Qualcomm 835 gjør det ikke.

Galaxy S8 vil gi en brukeropplevelse som er bedre enn fjorårets Galaxy S7. Mange av oss her vil vurdere det som en bedre opplevelse enn Apple tilbyr med iPhone 7, mens mange vil føle det motsatte. Ingenting av dette er på grunn av en benchmark-score.