Artikel

Van de redactie: waarom DxOMark-scores in feite waardeloos zijn

protection click fraud
OnePlus 5, LG G6

Deze week, na een klein beetje fanfare, de OnePlus 5 behaalde een DxOMark Mobile-score van 87. Een dag later, alsof het perfect getimed was om de tekortkomingen van zijn beoordelingssysteem, DxO, aan te tonen gaf de LG G6 een 84. En het internet is behoorlijk in de war. Reactiethreads suggereren dat er iets ongewoons is gebeurd als gevolg van de onlangs aangekondigde samenwerking van OnePlus met DxO. Reddit zwemt in ongelovige woede.

Laat ik beginnen met te zeggen dat ik denk dat DxO niet heeft toegestaan ​​hoeveel geld er tussen hem en OnePlus van eigenaar is veranderd om de objectiviteit van zijn testen te beïnvloeden. Niemand koopt of verkoopt rechtstreeks hogere benchmarkscores - dat zou gek zijn. Desalniettemin is het duidelijk geworden dat als basis om te beoordelen of de ene smartphonecamera beter is dan de andere, de genummerde scores van het bedrijf op zijn best gebrekkig zijn.

Verizon biedt de Pixel 4a aan voor slechts $ 10 / maand op nieuwe Unlimited-lijnen

De algemene scores van DxO zijn ontleend aan een gemiddelde van subscores voor belichting en contrast, kleurautofocus, textuur, ruis, artefacten en stabilisatie. Er is een korte uitleg (die teruggaat tot 2012) waarin wordt beschreven hoe DxO deze mobiele scores genereert, blijkbaar een mix van automatische en perceptuele tests laten zien - de laatste waarbij een mens de telefoon in de echte wereld. Voor de geautomatiseerde tests vertrouwt DxO op software zoals zijn eigen DxO Analyzer, die wordt gebruikt door 's werelds beste cameramakers om de beeldkwaliteit te meten.

De details van de samenwerking van DxO met OnePlus (en andere fabrikanten zoals HTC en Google) zijn niet openbaar gemaakt. Maar vermoedelijk is het deze software, samen met andere testapparatuur, waar de beeldvormingsteams bij deze telefoonfabrikanten toegang toe krijgen.

OnePlus 5

Enkelvoudig genummerde scores voor telefooncamera's zijn tegelijk te vaag en te specifiek.

Laten we eerst de tekortkomingen van het gebruik van een enkel nummer aanpakken om de volledige mobiele camera-ervaring samen te vatten. Het terugbrengen van een smartphonecamera tot een percentagescore heeft het probleem om meteen te vaag te zijn en te specifiek. Een cijfer - een niet-gewogen gemiddelde - doet geen recht aan de complexiteit van moderne smartphonecamera's, waar de prestaties sterk kunnen variëren, afhankelijk van de situatie, en niet alle factoren gelijk zijn belangrijk. Tegelijkertijd een score op 100 impliceert precisie. De OnePlus 5, Huawei P10 en Samsung Galaxy S6 edge + zijn allemaal even goed, vertellen de cijfers. De LG G6 en Moto G4 Plus, ook gelijk, met DxO-scores van 84. Iedereen die deze apparaten in de echte wereld heeft gebruikt, zal je vertellen dat de realiteit niet eens dichtbij is.

Ondertussen beoordeelt DxO de Galaxy S6 edge + als een 87, terwijl de Galaxy Note 5 een 86 is. Beide telefoons hebben dezelfde interne hardware en cameramodules. Er is een éénpuntsverschil tussen deze twee telefoons, wat in beeldvormende termen is identiek. Er is ook een verschil van één punt tussen een Samsung Galaxy S8 en een Sony Xperia Z5, die lichtjaren van elkaar verwijderd zijn in real-world prestaties.

Dit onderstreept de waanzin van het plaatsen van aandelen in deze enkele genummerde scores voor telefooncamera's, vooral wanneer dezelfde variantie kan bestaan ​​tussen twee fysiek identieke camera's en twee heel, heel verschillende. DxO-scores kunnen heel goed dienen als een behoorlijke maatstaf voor de onbewerkte mogelijkheden van elke camera (persoonlijk denk ik zelfs dat dat zo is discutabel - zie het voorbeeld van de LG G6 versus Moto G4 Plus hierboven), maar ze hebben ook het effect dat belangrijke details vertroebelen gebruik in de echte wereld.

DxOMark-scores komen vaak niet overeen met de realiteit, wat ons vertelt dat de LG G6 maar zo goed is als de Moto G4 Plus van vorig jaar.

De schriftelijke beoordelingen van DxO zijn veel informatiever - ze gaan zelfs in op de belangrijke details die een telefooncamera goed of slecht maken. Toch zijn het de cijfers waarmee fabrikanten pronken in hun marketingmateriaal en die DxO hiërarchisch weergeeft in de zijbalk.

Vervolgens is er het zeer voor de hand liggende probleem - en potentiële belangenverstrengeling - van het verkopen van testhardware aan telefoonfabrikanten die u uiteindelijk gebruikt om ze publiekelijk te beoordelen op hun prestaties. Het idee is vermoedelijk om telefoonfabrikanten in staat te stellen hun camera's te verbeteren door herhaalbare, wetenschappelijke tests rond beeldkwaliteit te gebruiken. Maar dit heeft ook tot gevolg dat OEM's ‘lesgeven op de proef’.

LG G6

Het partnermodel van DxO stelt OEM's in staat 'les te geven op de proef'

Als een sluwe student die zich voorbereidt op een gestandaardiseerde test, fabrikanten die samenwerken met DxO en toegang krijgen tot de hardware en software, kunnen hun beeldverwerking afstemmen op de synthetische tests van het bedrijf (binnen de limieten van de hardware, van Cursus). Als gevolg hiervan zijn hun beoordelingsscores hoger wanneer DxO ze uiteindelijk publiceert - omdat ze al die tijd toegang hebben gehad tot de testhardware. Fabrikanten die niet samenwerken met DxO lopen automatisch in het nadeel in termen van hun score, ook al is de beeldkwaliteit buiten het laboratorium niet wezenlijk slechter. Wanneer dat gebeurt, zoals verplicht is, worden consumenten die vertrouwen stellen in vergelijkingen tussen scores van partners en niet-partners mogelijk misleid.

Dat is hoe we eindigen met scores die je vertellen dat de Moto G4 Plus net zo goed is als de LG G6, die slechter is dan de OnePlus 5.

En dat is waar het potentiële belangenconflict ontstaat. Werk samen met DxO en uw telefoon heeft de mogelijkheid om de uiteindelijke beoordelingsscore te maximaliseren - en als het een nieuw vlaggenschip is, steel dan misschien de kroon met een nieuwe hoge score. Fabrikanten die geen licentie hebben voor DxO's spullen, concurreren op een ongelijk speelveld.

Dat gezegd hebbende, scoort DxOMark vaak Doen overeenkomen met de observaties van ervaren technische recensenten. Het bedrijf noemde de Google Pixel terecht de beste smartphonecamera van 2016. En ik denk dat de meeste recensenten het erover eens zijn dat de HTC U11, met een kleine marge, waarschijnlijk de beste telefooncamera heeft die tot nu toe in 2017 is uitgebracht.

Maar dat zou niet moeten compenseren voor de flagrante voorbeelden van DxOMark-scores die niet in lijn zijn met de realiteit, de De meest recente daarvan vertelt ons dat LG's vlaggenschiptelefoon van 2017 maar zo goed is als een jaar oude Motorola midden boswachter. Als gevolg hiervan kunnen deze scores vrijwel waardeloos zijn om twee of meer telefoons rechtstreeks te vergelijken.

Kort gezegd: de beoordelingen van DxO zijn informatief en goed onderzocht. Maar die genummerde scores? Vergeet ze maar.

Andere kansen en doelen voor een werkweekend:

  • We zijn een maand weg Android O wordt afgerond, en zeker nog maar een paar dagen verwijderd van het vinden van waar "O" voor staat. Oatmeal Cookie is blijkbaar de interne codenaam - lees daar niet te veel in; interne codenamen verschillen vaak van openbare bijnamen. Maar echt welke andere opties zijn er naast Oreo? Als Google geen partnerschap aangaat met de koekjesgigant, kan Oatmeal Cookie uiteindelijk standaard winnen.
  • Over een gerelateerde opmerking, grote overwinning voor Sony als het de eerste kan zijn met Android O op een nieuwe telefoon, zoals de geruchtenmolen lijkt te suggereren.
  • DxOMark controverse en gelei scrollen hullabaloo opzij, ik geniet van de OnePlus 5, en ik heb begin volgende week een tweede opiniestuk. De camera is redelijk goed. Niet goed. Niet slecht. Ik geef het 85 AleXMarks.
  • Omdat ik op het punt sta om wat te reizen en Google er nog steeds op staat om gek geld in rekening te brengen voor de Pixel C, heb ik een iPad Pro onderweg. (Oordeel niet.) Ik heb in de loop der jaren iPads aan en uit gebruikt - bijna onvermijdelijk om ze na een paar maanden te verkopen. We zullen zien of de nieuwste het beter doet en hoe deze zich uiteindelijk aanpast iOS 11.
  • Google heeft dit najaar zeker een eigen cabriolet. Ik kijk er reikhalzend naar uit dat de Android-tabletruimte minder een woestenij is dan het momenteel is.

Dat is het. Binnen een paar weken neemt er meer van me af.

-Alex

Dit zijn de beste draadloze oordopjes die je voor elke prijs kunt kopen!
Het is tijd om het snoer door te snijden!

Dit zijn de beste draadloze oordopjes die je voor elke prijs kunt kopen!

De beste draadloze oordopjes zijn comfortabel, klinken geweldig, kosten niet te veel en passen gemakkelijk in een zak.

Alles wat je moet weten over de PS5: releasedatum, prijs en meer
Volgende generatie

Alles wat je moet weten over de PS5: releasedatum, prijs en meer.

Sony heeft officieel bevestigd dat het werkt aan de PlayStation 5. Hier is alles wat we er tot nu toe over weten.

Nokia lanceert twee nieuwe budget-Android One-telefoons onder de $ 200
Nieuwe Nokia's

Nokia lanceert twee nieuwe budget-Android One-telefoons onder de $ 200.

Nokia 2.4 en Nokia 3.4 zijn de nieuwste toevoegingen aan het budget-smartphone-assortiment van HMD Global. Omdat het beide Android One-apparaten zijn, ontvangen ze gegarandeerd twee belangrijke OS-updates en regelmatige beveiligingsupdates gedurende maximaal drie jaar.

Beveilig je huis met deze SmartThings deurbellen en sloten
Ding Dong - deuren op slot

Beveilig uw huis met deze SmartThings deurbellen en sloten.

Een van de beste dingen van SmartThings is dat u een hele reeks andere apparaten van derden op uw systeem kunt gebruiken, inclusief deurbellen en sloten. Omdat ze in wezen allemaal dezelfde SmartThings-ondersteuning delen, hebben we ons gefocust op welke apparaten de beste specificaties en trucs hebben om ze toe te voegen aan je SmartThings-arsenaal.

instagram story viewer