Articolo

Dall'Editor's Desk: Perché i punteggi di DxOMark sono fondamentalmente inutili

protection click fraud
OnePlus 5, LG G6

Questa settimana, a seguito di una piccola fanfara, il OnePlus 5 ha ottenuto un punteggio DxOMark Mobile di 87. Un giorno dopo, come se fosse stato sincronizzato perfettamente per dimostrare i difetti del suo sistema di valutazione, DxO ha dato all'LG G6 un 84. E Internet è adeguatamente irritato. I thread di commento suggeriscono che è successo qualcosa di spiacevole a seguito della partnership recentemente annunciata di OnePlus con DxO. Reddit sta nuotando in una rabbia incredula.

Vorrei iniziare dicendo che non credo che DxO abbia permesso a quanti soldi sono passati di mano tra esso e OnePlus per influenzare l'obiettività dei suoi test. Nessuno sta acquistando o vendendo direttamente punteggi di benchmark più alti: sarebbe folle. Tuttavia, è diventato chiaro che come base per giudicare se una fotocamera per smartphone è migliore di un'altra, i punteggi numerati dell'azienda sono, nella migliore delle ipotesi, imperfetti.

Verizon offre Pixel 4a per soli $ 10 / mese sulle nuove linee Unlimited

I punteggi complessivi di DxO sono ricavati da una media dei punteggi secondari per esposizione e contrasto, autofocus a colori, consistenza, rumore, artefatti e stabilizzazione. C'è una breve spiegazione (risalente al 2012) che descrive in dettaglio come DxO genera questi punteggi mobili, apparentemente mostra un mix di test automatico e percettivo - quest'ultimo coinvolge un essere umano che usa il telefono in mondo reale. Per i test automatizzati, DxO si affida a un software come il proprio DxO Analyzer, utilizzato dai principali produttori di fotocamere al mondo per misurare la qualità dell'immagine.

Le specifiche della partnership di DxO con OnePlus (e altri produttori come HTC e Google) non sono state rese pubbliche. Ma presumibilmente, è questo software, insieme ad altre apparecchiature di test, a cui hanno accesso i team di imaging di questi produttori di telefoni.

OnePlus 5

I singoli punteggi numerati per le fotocamere dei telefoni sono allo stesso tempo troppo vaghi e troppo specifico.

Innanzitutto, affrontiamo i difetti dell'utilizzo di un singolo numero per riassumere l'intera esperienza della fotocamera mobile. Ridurre la fotocamera di uno smartphone a un punteggio percentuale ha il problema di essere subito troppo vaghi e troppo specifico. Un numero, una media non ponderata, non rende giustizia alla complessità delle moderne fotocamere degli smartphone, dove le prestazioni possono variare notevolmente a seconda della situazione e non tutti i fattori sono uguali importante. Allo stesso tempo, un punteggio su 100 implica precisione. OnePlus 5, Huawei P10 e Samsung Galaxy S6 edge + sono tutti ugualmente buoni, ci dicono i numeri. L'LG G6 e il Moto G4 Plus, uguali, con punteggi DxO di 84. Chiunque abbia utilizzato questi dispositivi nel mondo reale ti dirà che la realtà non è nemmeno vicina.

Nel frattempo, DxO valuta il Galaxy S6 edge + come un 87, mentre il Galaxy Note 5 è un 86. Entrambi i telefoni hanno lo stesso hardware interno e gli stessi moduli della fotocamera. C'è una variazione di un punto tra questi due telefoni, che in termini di imaging lo sono identico. C'è anche una differenza di un punto tra un Samsung Galaxy S8 e un Sony Xperia Z5, che sono distanti anni luce nelle prestazioni del mondo reale.

Ciò sottolinea la follia di mettere in borsa queste singole partiture numerate per le fotocamere dei telefoni, in particolare quando può esistere la stessa varianza tra due fotocamere fisicamente identiche e due molto, molto diversi. I punteggi DxO potrebbero servire come un punto di riferimento decente per le capacità raw di ciascuna fotocamera (personalmente, penso che lo sia anche discutibile - vedi l'esempio LG G6 vs Moto G4 Plus sopra), ma hanno anche l'effetto di confondere dettagli importanti in giro utilizzo nel mondo reale.

I punteggi di DxOMark spesso non sono in linea con la realtà, dicendoci che l'LG G6 è buono solo come il Moto G4 Plus dell'anno scorso.

Le recensioni scritte di DxO sono molto più istruttive, in realtà scavano nei dettagli importanti che rendono buona o cattiva una fotocamera del telefono. Eppure sono i numeri che i produttori ostentano nei loro materiali di marketing e che DxO mostra gerarchicamente sulla sua barra laterale.

Successivamente, c'è il problema molto ovvio - e potenziale conflitto di interessi - di vendere hardware di test ai produttori di telefoni che alla fine utilizzerai per valutarli pubblicamente sulle loro prestazioni. L'idea, presumibilmente, è quella di consentire ai produttori di telefoni di migliorare le loro fotocamere utilizzando test scientifici ripetibili sulla qualità dell'immagine. Ma questo ha anche l'effetto di consentire agli OEM di "insegnare alla prova".

LG G6

Il modello di partnership di DxO consente agli OEM di "insegnare alla prova"

Come uno studente scaltro che si prepara per un test standardizzato, i produttori che collaborano con DxO e ottengono l'accesso al suo hardware e software, possono regolare la loro elaborazione delle immagini per superare i test sintetici dell'azienda (entro i limiti dell'hardware, di corso). Di conseguenza, i loro punteggi nelle recensioni sono più alti quando DxO li pubblica alla fine, perché hanno sempre avuto accesso all'hardware di test. I produttori che non collaborano con DxO si trovano automaticamente in svantaggio in termini di punteggio, anche se la qualità dell'immagine nel mondo reale, al di fuori del laboratorio, potrebbe non essere sostanzialmente peggiore. Quando ciò accade, come è inevitabile, i consumatori che ripongono fiducia nei confronti tra i punteggi dei partner e dei non partner vengono potenzialmente fuorviati.

È così che ci ritroviamo con punteggi che ti dicono che il Moto G4 Plus è buono come l'LG G6, che è peggio di OnePlus 5.

Ed è qui che sorge il potenziale conflitto di interessi. Collabora con DxO e il tuo telefono ha l'opportunità di massimizzare il suo punteggio di revisione finale e, se si tratta di un nuovo telefono di punta, forse rubare la corona con un nuovo punteggio elevato. I produttori che non concedono in licenza le cose di DxO competono su un campo di gioco irregolare.

Detto questo, spesso DxOMark segna fare corrispondere alle osservazioni di revisori tecnici esperti. L'azienda ha definito correttamente Google Pixel come la migliore fotocamera per smartphone del 2016. E penso che la maggior parte dei revisori concorderebbe sul fatto che l'HTC U11 ha, con un margine sottile, probabilmente la migliore fotocamera del telefono rilasciata nel 2017 fino ad oggi.

Ma ciò non dovrebbe compensare gli esempi eclatanti di punteggi DxOMark non in linea con la realtà, il il più recente dei quali ci dice che il telefono di punta di LG del 2017 è buono quanto un Motorola di un anno mid-ranger. Di conseguenza, questi punteggi possono essere praticamente inutili per il confronto diretto di due o più telefoni.

Conclusione: le recensioni di DxO sono informative e ben studiate. Ma quei punteggi numerati? Scordateli.

Altre probabilità e conclusioni per un fine settimana lavorativo:

  • Manca un mese Android O in fase di completamento, e sicuramente a pochi giorni di distanza da scoprire cosa sta per "O". Oatmeal Cookie è apparentemente il nome in codice interno - non leggere troppo in quello; i nomi in codice interni sono spesso diversi dai soprannomi pubblici. Ma veramente Quali altre opzioni ci sono oltre a Oreo? Se Google non crea una sorta di partnership con il gigante dei biscotti, Oatmeal Cookie potrebbe finire per vincere per impostazione predefinita.
  • In una nota correlata, grande vittoria per Sony se può essere la prima con Android O su un nuovo telefono, come sembrerebbe suggerire il rumor.
  • DxOMark controversia e jelly scrolling hullabaloo a parte, mi sto divertendo OnePlus 5e avrò un secondo pezzo di opinione in arrivo all'inizio della prossima settimana. La fotocamera è abbastanza buona. Non buono. Non male. Gli assegno 85 AleXMarks.
  • Dato che sto per fare un viaggio e Google insiste ancora per far pagare soldi folli per Pixel C, ho un iPad Pro in arrivo. (Non giudicare.) Ho usato e spento gli iPad nel corso degli anni, quasi inevitabilmente vendendoli dopo pochi mesi. Vedremo se l'ultimo se la caverà meglio e come alla fine si adatterà iOS 11.
  • Google ha sicuramente una decappottabile in arrivo questo autunno. Sto aspettando con impazienza che lo spazio per tablet Android sia meno un deserto di quanto non sia attualmente.

Questo è tutto. Altre riprese calde da me in poche settimane.

-Alex

Questi sono i migliori auricolari wireless che puoi acquistare ad ogni prezzo!
È ora di tagliare il cavo!

Questi sono i migliori auricolari wireless che puoi acquistare ad ogni prezzo!

I migliori auricolari wireless sono comodi, hanno un suono eccezionale, non costano troppo e stanno facilmente in tasca.

Tutto ciò che devi sapere sulla PS5: data di uscita, prezzo e altro ancora
Prossima generazione

Tutto ciò che devi sapere sulla PS5: data di uscita, prezzo e altro ancora.

Sony ha ufficialmente confermato che sta lavorando su PlayStation 5. Ecco tutto ciò che sappiamo finora.

Nokia lancia due nuovi telefoni Android One economici a meno di $ 200
Nuovi Nokias

Nokia lancia due nuovi telefoni Android One economici a meno di $ 200.

Nokia 2.4 e Nokia 3.4 sono le ultime aggiunte alla linea di smartphone economici di HMD Global. Poiché sono entrambi dispositivi Android One, è garantito che riceveranno due importanti aggiornamenti del sistema operativo e aggiornamenti di sicurezza regolari per un massimo di tre anni.

Proteggi la tua casa con questi campanelli e serrature SmartThings
Ding Dong - porte chiuse

Proteggi la tua casa con questi campanelli e serrature SmartThings.

Una delle cose migliori di SmartThings è che puoi utilizzare una serie di altri dispositivi di terze parti sul tuo sistema, campanelli e serrature inclusi. Poiché condividono tutti essenzialmente lo stesso supporto SmartThings, ci siamo concentrati su quali dispositivi hanno le migliori specifiche e trucchi per giustificare l'aggiunta al tuo arsenale di SmartThings.

instagram story viewer