Artikkel

Fra redaktørens skrivebord: Hvorfor DxOMark-poeng er i utgangspunktet verdiløse

protection click fraud
OnePlus 5, LG G6

Denne uken, etter en liten mengde fanfare, ble OnePlus 5 fikk en DxOMark Mobile-score på 87. En dag senere, som om den var perfekt tilpasset for å demonstrere feilene i klassifiseringssystemet DxO ga LG G6 en 84. Og Internett er passende oppstyrt. Kommentartråder antyder at noe uheldig har skjedd som et resultat av OnePlus nylig annonserte partnerskap med DxO. Reddit svømmer i vantro sinne.

La meg begynne med å si at jeg ikke tror DxO har tillatt hvor mye penger som har skiftet hender mellom det og OnePlus for å påvirke objektiviteten til testingen. Ingen kjøper eller selger høyere referansepoeng direkte - det ville være gal. Likevel har det blitt klart at som et grunnlag for å bedømme om ett smarttelefonkamera er bedre enn et annet, er firmaets nummererte score i beste fall feil.

Verizon tilbyr Pixel 4a for bare $ 10 per måned på nye ubegrensede linjer

DxOs samlede poengsum er hentet fra et gjennomsnitt av underpoeng for eksponering og kontrast, fargef autofokus, tekstur, støy, gjenstander og stabilisering. Det er en kort forklaring (som går helt tilbake til 2012) som beskriver hvordan DxO genererer disse mobilpoengene, viser tilsynelatende en blanding av automatisk og perseptuell testing - sistnevnte involverer et menneske som bruker telefonen ute i virkelige verden. For de automatiserte testene er DxO avhengig av programvare som sin egen DxO Analyzer, som brukes av verdens beste kameraprodusenter for å måle bildekvaliteten.

Spesifikasjonene til DxOs partnerskap med OnePlus (og andre produsenter som HTC og Google) er ikke blitt offentliggjort. Men antagelig er det denne programvaren, sammen med annet testutstyr, som bildebehandlingsteamene hos disse telefonprodusentene får tilgang til.

OnePlus 5

Enkeltnummerte poeng for telefonkameraer er samtidig for vage og for spesifikk.

For det første, la oss løse feilene ved å bruke et enkelt nummer for å oppsummere hele mobilkameraopplevelsen. Å redusere et smarttelefonkamera til en prosentpoeng har problemet med å være for vag samtidig og for spesifikk. Et tall - et ikke-vektet gjennomsnitt - gjør ikke rettferdighet til kompleksiteten til moderne smarttelefonkameraer, hvor ytelsen kan variere mye avhengig av situasjonen, og ikke alle faktorene er like viktig. Samtidig en poengsum på 100 tilsier presisjon. OnePlus 5, Huawei P10 og Samsung Galaxy S6 edge + er like gode, forteller tallene oss. LG G6 og Moto G4 Plus, også like, med DxO-score på 84. Alle som har brukt disse enhetene i den virkelige verden, vil fortelle deg at virkeligheten ikke engang er nær.

I mellomtiden vurderer DxO Galaxy S6 edge + som en 87, mens Galaxy Note 5 er en 86. Begge telefonene har samme interne maskinvare og kameramoduler. Det er en ettpunkts avvik mellom disse to telefonene, som i bildebehandling er identisk. Det er også en poengs forskjell mellom en Samsung Galaxy S8 og en Sony Xperia Z5, som er lysår fra hverandre i ytelse fra den virkelige verden.

Dette understreker galskapen ved å legge lager i disse enkeltnummererte poengene for telefonkameraer, spesielt når den samme avviket kan eksistere mellom to fysisk identiske kameraer og to veldig, veldig forskjellige. DxO-poeng kan godt tjene som en anstendig målestokk for de rå kapasitetene til hvert kamera (personlig, jeg tror selv det er diskutabelt - se LG G6 vs Moto G4 Plus-eksemplet ovenfor), men de har også effekten av å gjørme viktige detaljer rundt ekte bruk.

DxOMark-poeng stemmer ofte ikke overens med virkeligheten, og forteller oss at LG G6 bare er like god som fjorårets Moto G4 Plus.

DxOs skriftlige anmeldelser er langt mer informative - faktisk grave ned i viktige detaljer som gjør et telefonkamera godt eller dårlig. Likevel er det tallene som produsentene flagrer i markedsføringsmaterialet sitt, og som DxO viser hierarkisk på sidefeltet.

Deretter er det det veldig åpenbare problemet - og potensiell interessekonflikt - med å selge testmaskinvare til telefonprodusenter som du til slutt bruker for å offentlig rangere dem på ytelsen. Ideen er antagelig å la telefonprodusenter gjøre kameraene bedre ved å bruke repeterbare, vitenskapelige tester rundt bildekvaliteten. Men dette har også den effekten at OEM-er kan "undervise på testen."

LG G6

DxOs partnerskapsmodell gjør det mulig for OEM-er å 'lære opp til testen'

Som en ellevill student som forbereder seg på en standardisert test, produsenter som samarbeider med DxO, og får tilgang til maskinvaren og programvare, kan innstille bildebehandlingen for å esse firmaets syntetiske tester (innenfor grensene for maskinvaren, av kurs). Som et resultat er vurderingspoengene deres høyere når DxO til slutt publiserer dem - fordi de har hatt tilgang til testmaskinvaren hele tiden. Produsenter som ikke samarbeider med DxO, har en automatisk ulempe når det gjelder poengsummen deres, selv om bildekvaliteten utenfor den virkelige verden kanskje ikke er vesentlig dårligere. Når det skjer, slik det er bundet til, blir forbrukere som setter sin lit til sammenligninger mellom poeng fra partnere og ikke-partnere potensielt villedet.

Slik ender vi opp med poeng som forteller deg at Moto G4 Plus er like bra som LG G6, noe som er verre enn OnePlus 5.

Og det er der den potensielle interessekonflikten oppstår. Bli partner med DxO, og telefonen din har muligheten til å maksimere den endelige vurderingspoengsummen - og hvis det er en ny flaggskiptelefon, kan du stjele kronen med en ny høy score. Produsenter som ikke lisensierer DxOs ting, konkurrerer på ujevne spillerom.

Alt som blir sagt, scorer ofte DxOMark gjøre samsvarer med observasjonene fra erfarne tekniske anmeldere. Firmaet kalte Google Pixel riktig som det beste smarttelefonkameraet i 2016. Og jeg tror de fleste anmeldere er enige i at HTC U11, med en liten margin, sannsynligvis har det beste telefonkameraet som ble utgitt i 2017 til dags dato.

Men det skal ikke kompensere for de uhyggelige eksemplene på at DxOMark-poeng ikke stemmer overens med virkeligheten den siste som forteller oss at LGs flaggskiptelefon i 2017 bare er like god som en år gamle Motorola mid-ranger. Som et resultat kan disse poengene være ganske verdiløse for å sammenligne to eller flere telefoner direkte.

Poenget: DxOs anmeldelser er informative og godt undersøkt. Men de nummererte poengene? Glem dem.

Andre odds for en arbeidshelg:

  • Vi er en måned ute Android O blir avsluttet, og sikkert bare noen dager unna å finne ut hva "O" står for. Havregrynkake er tilsynelatende det interne kodenavnet - ikke les for mye i det; interne kodenavn er ofte forskjellige fra offentlige kallenavn. Men seriøst hvilke andre alternativer er det foruten Oreo? Hvis Google ikke skriver blekk til et slags partnerskap med kjeksegiganten, kan havregrynkake ende med å vinne som standard.
  • På et relatert notat, stor gevinst for Sony hvis det kan være først med Android O på en ny telefon, slik ryktemøllen ser ut til å antyde.
  • DxOMark kontrovers og gelé rulling hullabaloo til side, jeg nyter OnePlus 5, og jeg vil ha et nytt synspunkt som kommer tidlig i neste uke. Kameraet er ganske bra. Ikke bra. Ikke verst. Jeg tildeler den 85 AleXMarks.
  • Fordi jeg er i ferd med å reise, og Google fortsatt insisterer på å belaste penger for Pixel C, har jeg en iPad Pro på vei til meg. (Ikke døm.) Jeg har brukt iPads av og på gjennom årene - nesten uunngåelig å selge dem etter noen måneder. Vi får se om den siste klarer seg bedre, og hvordan den til slutt tilpasser seg iOS 11.
  • Google har sikkert en egen konvertibel på vei i høst. Jeg venter spent på at Android-nettbrettet skal være mindre ødemark enn det er for øyeblikket.

Det er det. Mer varme tar fra meg om noen få uker.

-Alex

Dette er de beste trådløse øreproppene du kan kjøpe til enhver pris!
Det er på tide å kutte ledningen!

Dette er de beste trådløse øreproppene du kan kjøpe til enhver pris!

De beste trådløse ørepluggene er komfortable, høres bra ut, koster ikke for mye og passer lett i lommen.

Alt du trenger å vite om PS5: Utgivelsesdato, pris og mer
Neste generasjon

Alt du trenger å vite om PS5: Utgivelsesdato, pris og mer.

Sony har offisielt bekreftet at de jobber med PlayStation 5. Her er alt vi vet om det så langt.

Nokia lanserer to nye budsjett Android One-telefoner under $ 200
Nye Nokias

Nokia lanserer to nye budsjett Android One-telefoner under $ 200.

Nokia 2.4 og Nokia 3.4 er de siste tilskuddene til HMD Globals budsjett for smarttelefoner. Siden de begge er Android One-enheter, vil de garantert motta to store OS-oppdateringer og vanlige sikkerhetsoppdateringer i opptil tre år.

Sikre hjemmet ditt med disse SmartThings-dørklokkene og låsene
Ding Dong - dører låst

Sikre hjemmet ditt med disse SmartThings-dørklokkene og låsene.

En av de beste tingene med SmartThings er at du kan bruke en rekke andre tredjepartsenheter på systemet ditt, inkludert dørklokker og låser. Siden de alle i hovedsak har samme SmartThings-støtte, har vi fokusert på hvilke enheter som har de beste spesifikasjonene og triksene for å rettferdiggjøre å legge dem til SmartThings-arsenalet ditt.

instagram story viewer