Artículo

Desde el escritorio del editor: por qué las puntuaciones de DxOMark son básicamente inútiles

OnePlus 5, LG G6

Esta semana, tras una pequeña cantidad de fanfarrias, el OnePlus 5 obtuvo una puntuación DxOMark Mobile de 87. Un día después, como si estuviera perfectamente sincronizado para demostrar las fallas de su sistema de calificación, DxO le dio al LG G6 un 84. E Internet está adecuadamente irritada. Los hilos de comentarios sugieren que ha sucedido algo adverso como resultado de la asociación recientemente anunciada de OnePlus con DxO. Reddit está nadando en una ira incrédula.

Permítanme comenzar diciendo que no creo que DxO haya permitido que la cantidad de dinero que haya cambiado de manos entre él y OnePlus influya en la objetividad de sus pruebas. Nadie está comprando o vendiendo directamente puntajes de referencia más altos, eso sería una locura. Sin embargo, ha quedado claro que como base para juzgar si una cámara de teléfono inteligente es mejor que otra, las puntuaciones numeradas de la empresa son, en el mejor de los casos, defectuosas.

Verizon ofrece Pixel 4a por solo $ 10 / mes en nuevas líneas ilimitadas

Las puntuaciones generales de DxO se toman de un promedio de subpuntuaciones de exposición y contraste, enfoque automático de color, textura, ruido, artefactos y estabilización. Hay una breve explicación (que se remonta a 2012) que detalla cómo DxO genera estos puntajes móviles, aparentemente muestra una mezcla de pruebas automáticas y perceptivas, la última involucra a un humano que usa el teléfono en el mundo real. Para las pruebas automatizadas, DxO se basa en software como su propio Analizador DxO, que utilizan los principales fabricantes de cámaras del mundo para medir la calidad de la imagen.

Los detalles de la asociación de DxO con OnePlus (y otros fabricantes como HTC y Google) no se han revelado públicamente. Pero presumiblemente, es este software, junto con otros equipos de prueba, al que tienen acceso los equipos de imágenes de estos fabricantes de teléfonos.

OnePlus 5

Las puntuaciones de un solo número para las cámaras de los teléfonos son demasiado vagas y demasiado especifico.

En primer lugar, abordemos los defectos de usar un solo número para resumir toda la experiencia de la cámara móvil. Reducir la cámara de un teléfono inteligente a una puntuación porcentual tiene el problema de ser demasiado vago a la vez y demasiado especifico. Un número, un promedio no ponderado, no hace justicia a la complejidad de las cámaras de los teléfonos inteligentes modernos, donde el desempeño puede variar ampliamente dependiendo de la situación, y no todos los factores son igualmente importante. Al mismo tiempo, una puntuación sobre 100 implica precisión. El OnePlus 5, Huawei P10 y Samsung Galaxy S6 edge + son todos igualmente buenos, nos dicen los números. El LG G6 y Moto G4 Plus, también iguales, con puntuaciones DxO de 84. Cualquiera que haya usado estos dispositivos en el mundo real le dirá que la realidad ni siquiera está cerca.

Mientras tanto, DxO califica al Galaxy S6 edge + como un 87, mientras que el Galaxy Note 5 es un 86. Ambos teléfonos tienen el mismo hardware interno y módulos de cámara. Hay una variación de un punto entre estos dos teléfonos, que en términos de imágenes son idéntico. También hay una diferencia de un punto entre un Samsung Galaxy S8 y un Sony Xperia Z5, que están a años luz de distancia en el rendimiento del mundo real.

Esto subraya la locura de poner en valor estos puntajes de un solo número para las cámaras de los teléfonos, particularmente cuando puede existir la misma variación entre dos cámaras físicamente idénticas y dos muy, muy diferentes. Los puntajes DxO pueden servir como un punto de referencia decente para las capacidades en bruto de cada cámara (personalmente, creo que incluso eso es discutible: vea el ejemplo anterior de LG G6 vs Moto G4 Plus), pero también tienen el efecto de enturbiar detalles importantes uso en el mundo real.

Los puntajes de DxOMark a menudo no se alinean con la realidad, lo que nos dice que el LG G6 es tan bueno como el Moto G4 Plus del año pasado.

Las reseñas escritas de DxO son mucho más informativas, en realidad profundizan en los detalles importantes que hacen que la cámara de un teléfono sea buena o mala. Sin embargo, son los números los que hacen alarde de los fabricantes en sus materiales de marketing y los que DxO muestra jerárquicamente en su barra lateral.

A continuación, está el problema muy obvio, y el posible conflicto de intereses, de vender hardware de prueba a los fabricantes de teléfonos que eventualmente usará para calificar públicamente su desempeño. La idea, presumiblemente, es permitir que los fabricantes de teléfonos mejoren sus cámaras mediante el uso de pruebas científicas repetibles sobre la calidad de la imagen. Pero esto también tiene el efecto de permitir que los OEM "enseñen a la prueba".

LG G6

El modelo de asociación de DxO permite a los OEM 'enseñar para la prueba'

Como un estudiante astuto que se prepara para una prueba estandarizada, los fabricantes que se asocian con DxO y obtienen acceso a su hardware y software, pueden ajustar su procesamiento de imágenes para superar las pruebas sintéticas de la empresa (dentro de los límites del hardware, de curso). Como resultado, sus puntuaciones de revisión son más altas cuando DxO finalmente las publica, porque han tenido acceso al hardware de prueba todo el tiempo. Los fabricantes que no se asocian con DxO se encuentran en una desventaja automática en términos de su puntuación, aunque la calidad de imagen fuera del laboratorio en el mundo real no sea sustancialmente peor. Cuando eso sucede, como es inevitable, los consumidores que confían en las comparaciones entre las puntuaciones de socios y no socios son potencialmente engañados.

Así es como terminamos con puntajes que te dicen que el Moto G4 Plus es tan bueno como el LG G6, que es peor que el OnePlus 5.

Y ahí es donde surge el potencial conflicto de intereses. Asóciese con DxO y su teléfono tendrá la oportunidad de maximizar su puntaje de revisión eventual, y si es un nuevo teléfono insignia, tal vez robar la corona con un nuevo puntaje más alto. Los fabricantes que no licencian las cosas de DxO compiten en un campo de juego desigual.

Dicho todo esto, a menudo las puntuaciones de DxOMark hacer coincidir con las observaciones de revisores técnicos experimentados. La firma calificó correctamente a Google Pixel como la mejor cámara para teléfonos inteligentes de 2016. Y creo que la mayoría de los críticos estarían de acuerdo en que el HTC U11 tiene, por un pequeño margen, probablemente la mejor cámara de teléfono lanzada en 2017 hasta la fecha.

Pero eso no debería compensar los atroces ejemplos de puntuaciones de DxOMark que no se alinean con la realidad, el más reciente nos dice que el teléfono insignia de LG de 2017 es tan bueno como un Motorola de un año guardabosques medio. Como resultado, estos puntajes pueden ser prácticamente inútiles para comparar directamente dos o más teléfonos.

En pocas palabras: las revisiones de DxO son informativas y están bien investigadas. ¿Pero esos puntajes numerados? Olvídalos.

Otras posibilidades para un fin de semana laboral:

  • Estamos a un mes de Android O finalizado, y seguramente a solo unos días de descubrir qué significa "O". Oatmeal Cookie es aparentemente el nombre en clave interno, no lea demasiado sobre eso; Los nombres en clave internos son a menudo diferentes a los apodos públicos. Pero en serio Qué otras opciones hay además de Oreo? Si Google no firma algún tipo de asociación con el gigante de las galletas, Oatmeal Cookie podría terminar ganando de forma predeterminada.
  • En una nota relacionada, una gran victoria para Sony si puede ser el primero con Android O en un teléfono nuevo, como parece sugerir el rumor.
  • Dejando a un lado la controversia de DxOMark y el jelly scrolling, estoy disfrutando del OnePlus 5, y tendré una segunda opinión a principios de la semana que viene. La cámara es bastante buena. No es bueno. No está mal. Le otorgo 85 AleXMarks.
  • Debido a que estoy a punto de viajar y Google todavía insiste en cobrar dinero loco por el Pixel C, tengo un iPad Pro en camino hacia mí. (No juzgues.) He usado iPads de forma intermitente a lo largo de los años, casi inevitablemente vendiéndolos después de unos meses. Veremos si al último le va mejor y cómo se adapta eventualmente a iOS 11.
  • Seguramente Google tiene un convertible propio en camino este otoño. Estoy esperando ansiosamente que el espacio de la tableta Android sea menos un páramo de lo que es actualmente.

Eso es. Más tomas calientes de mí en unas pocas semanas.

-Alex

Estos son los mejores auriculares inalámbricos que puede comprar a cualquier precio.
¡Es hora de cortar el cordón!

Estos son los mejores auriculares inalámbricos que puede comprar a cualquier precio.

Los mejores auriculares inalámbricos son cómodos, suenan muy bien, no cuestan demasiado y caben fácilmente en un bolsillo.

Todo lo que necesita saber sobre la PS5: fecha de lanzamiento, precio y más
Próxima generación

Todo lo que necesita saber sobre la PS5: fecha de lanzamiento, precio y más.

Sony ha confirmado oficialmente que está funcionando en PlayStation 5. Aquí está todo lo que sabemos hasta ahora.

Nokia lanza dos nuevos teléfonos Android One económicos por menos de $ 200
Nuevas Nokias

Nokia lanza dos nuevos teléfonos Android One económicos por menos de $ 200.

Nokia 2.4 y Nokia 3.4 son las últimas incorporaciones a la línea de teléfonos inteligentes económicos de HMD Global. Dado que ambos son dispositivos Android One, se garantiza que recibirán dos actualizaciones importantes del sistema operativo y actualizaciones de seguridad periódicas durante un máximo de tres años.

Asegure su hogar con estos timbres y cerraduras SmartThings
Ding Dong - puertas cerradas

Asegure su hogar con estos timbres y cerraduras SmartThings.

Una de las mejores cosas de SmartThings es que puede utilizar una gran cantidad de otros dispositivos de terceros en su sistema, incluidos timbres y cerraduras. Dado que todos comparten esencialmente el mismo soporte de SmartThings, nos hemos centrado en qué dispositivos tienen las mejores especificaciones y trucos para justificar su adición a su arsenal de SmartThings.

smihub.com