Denna vecka, efter en liten mängd fanfare, OnePlus 5 fick en DxOMark Mobile-poäng på 87. En dag senare, som perfekt anpassad för att visa bristerna i dess klassificeringssystem, DxO gav LG G6 84. Och Internet är lämpligt upprörd. Kommentartrådar tyder på att något felaktigt har hänt som ett resultat av OnePlus nyligen meddelade partnerskap med DxO. Reddit simmar i otrolig ilska.
Låt mig börja med att säga att jag inte tror att DxO har tillåtit hur mycket pengar som har ändrats mellan det och OnePlus för att påverka objektiviteten i testningen. Ingen köper eller säljer direkt högre referenspoäng - det skulle vara galet. Ändå har det blivit klart att som en grund för att bedöma om en smarttelefonkamera är bättre än en annan, är företagets numrerade poäng i bästa fall bristfälliga.
Verizon erbjuder Pixel 4a för bara $ 10 / månad på nya obegränsade linjer
DxO: s totala poäng är hämtade från ett genomsnitt av underpoäng för exponering och kontrast, färg autofokus, struktur, buller, artefakter och stabilisering. Det finns en kort förklaring (som går tillbaka till 2012) som beskriver hur DxO genererar dessa mobilpoäng, tydligen visar en blandning av automatisk och perceptuell testning - den senare involverar en människa som använder telefonen ute i verkliga världen. För de automatiserade testerna förlitar sig DxO på programvara som sin egen DxO Analyzer, som används av världens främsta kameratillverkare för att mäta bildkvaliteten.
Specifikationerna för DxOs partnerskap med OnePlus (och andra tillverkare som HTC och Google) har inte offentliggjorts. Men förmodligen är det den här programvaran, tillsammans med annan testutrustning, som bildteamen hos dessa telefontillverkare får tillgång till.
Enkelnumrerade poäng för telefonkameror är samtidigt för vaga och för specifikt.
Låt oss först ta itu med bristerna i att använda ett enda nummer för att sammanfatta hela mobilkameraupplevelsen. Att minska en smarttelefonkamera till procentpoäng har problemet att vara på en gång för vagt och för specifikt. Ett nummer - ett icke-vägd genomsnitt - gör inte rättvisa mot komplexiteten hos moderna smarttelefonkameror, där prestanda kan variera mycket beroende på situationen, och inte alla faktorer är lika Viktig. Samtidigt får 100 poäng antyder precision. OnePlus 5, Huawei P10 och Samsung Galaxy S6 edge + är lika bra, säger siffrorna. LG G6 och Moto G4 Plus, också lika, med DxO-poäng på 84. Den som har använt dessa enheter i den verkliga världen kommer att berätta att verkligheten inte ens är nära.
Under tiden betygsätter DxO Galaxy S6 edge + som en 87, medan Galaxy Note 5 är en 86. Båda telefonerna har samma interna hårdvara och kameramoduler. Det finns en enpunktsavvikelse mellan dessa två telefoner, vilket i bildåtergivning är identisk. Det finns också en poängs skillnad mellan en Samsung Galaxy S8 och en Sony Xperia Z5, som är ljusår från varandra i verklig prestanda.
Detta understryker galenskapen med att lägga lager i dessa enkelnumrerade poäng för telefonkameror, särskilt när samma avvikelse kan finnas mellan två fysiskt identiska kameror och två mycket, mycket olika. DxO-poäng kan mycket väl fungera som ett anständigt riktmärke för varje kameras råfunktioner (personligen tror jag att även det är det diskutabelt - se LG G6 vs Moto G4 Plus-exemplet ovan), men de har också effekten av att leriga viktiga detaljer runt verklig användning.
DxOMark-poäng stämmer ofta inte med verkligheten och säger att LG G6 bara är lika bra som förra årets Moto G4 Plus.
DxOs skrivna recensioner är mycket mer informativa - faktiskt gräver de viktiga detaljerna som gör en telefonkamera bra eller dålig. Ändå är det siffrorna som tillverkarna pryder i sitt marknadsföringsmaterial och som DxO visar hierarkiskt på sidofältet.
Därefter finns det det mycket uppenbara problemet - och potentiell intressekonflikt - med att sälja testhårdvara till telefontillverkare som du så småningom använder för att offentligt betygsätta dem på deras prestanda. Tanken är förmodligen att låta telefontillverkare göra sina kameror bättre genom att använda repeterbara, vetenskapliga tester kring bildkvalitet. Men detta har också den effekten att OEM-företag kan "lära sig testa".
DxO: s samarbetsmodell gör det möjligt för OEM-företag att "lära sig testa"
Som en elak student som förbereder sig för ett standardiserat test, tillverkare som samarbetar med DxO och får tillgång till dess hårdvara och programvara, kan ställa in sin bildbearbetning för att få fram företagets syntetiska tester (inom gränserna för hårdvaran, av kurs). Som ett resultat är deras granskningsresultat högre när DxO så småningom publicerar dem - eftersom de har haft tillgång till testhårdvaran hela tiden. Tillverkare som inte samarbetar med DxO har en automatisk nackdel när det gäller deras poäng, även om den verkliga bildkvaliteten utanför laboratoriet kanske inte är väsentligt sämre. När det händer, som det är bundet till, kan konsumenter som litar på jämförelser mellan poäng från partners och icke-partners potentiellt vilseledas.
Det är så vi slutar med poäng som säger att Moto G4 Plus är lika bra som LG G6, vilket är värre än OnePlus 5.
Och det är där den potentiella intressekonflikten uppstår. Samarbeta med DxO, och din telefon har möjlighet att maximera sin eventuella granskningspoäng - och om det är en ny flaggskeppstelefon kan du stjäla kronan med en ny hög poäng. Tillverkare som inte licensierar DxOs saker tävlar på ojämna spelplaner.
Allt detta sägs ofta DxOMark poäng do matcha observationerna från erfarna tekniska granskare. Företaget kallade Google Pixel korrekt som den bästa smarttelefonkameran 2016. Och jag tror att de flesta granskare håller med om att HTC U11, med en smal marginal, förmodligen har den bästa telefonkameran hittills släppt 2017.
Men det borde inte kompensera för de allvarliga exemplen på att DxOMark-poäng inte stämmer överens med verkligheten den senaste av dem säger att LG: s flaggskeppstelefon 2017 bara är lika bra som en årig Motorola mid-ranger. Som ett resultat kan dessa poäng vara ganska värdelösa för att direkt jämföra två eller flera telefoner.
Slutsats: DxOs recensioner är informativa och väl undersökta. Men de numrerade poängen? Glöm dem.
Andra odds för en arbetshelg:
- Vi är en månad ute Android O avslutas, och säkert bara några dagar från att ta reda på vad "O" står för. Havregrynkaka är uppenbarligen det interna kodnamnet - läs inte för mycket i det; interna kodnamn skiljer sig ofta från offentliga smeknamn. Men på riktigt vilka andra alternativ finns det förutom Oreo? Om Google inte bläcker någon form av partnerskap med kakjätten kan havregrynkaka hamna som standard.
- På en relaterad anteckning, stor vinst för Sony om det kan vara först med Android O på en ny telefon, som ryktfabriken verkar föreslå.
- DxOMark kontrovers och gelé rullning hullabaloo åt sidan, jag njuter av OnePlus 5, och jag kommer att ha ett andra yttrande som kommer upp tidigt nästa vecka. Kameran är ganska bra. Inte bra. Inte dåligt. Jag tilldelar den 85 AleXMarks.
- Eftersom jag håller på att resa och Google fortfarande insisterar på att ta ut galna pengar för Pixel C har jag en iPad Pro på väg till mig. (Bedöm inte.) Jag har använt iPads av och på genom åren - nästan oundvikligen sålt dem efter några månader. Vi får se om den senaste går bättre och hur den så småningom anpassar sig till iOS 11.
- Google har säkert en egen konvertibel på vägen i höst. Jag väntar ivrigt på att Android-surfplattan är mindre ödemark än den är för närvarande.
Det är allt. Mer het tar från mig om några veckor.
-Alex
Det här är de bästa trådlösa öronsnäckorna du kan köpa till varje pris!
De bästa trådlösa öronsnäckorna är bekväma, låter fantastiskt, kostar inte för mycket och sitter lätt i fickan.
Allt du behöver veta om PS5: Släppdatum, pris och mer.
Sony har officiellt bekräftat att de arbetar på PlayStation 5. Här är allt vi vet om det hittills.
Nokia lanserar två nya budget Android One-telefoner under 200 dollar.
Nokia 2.4 och Nokia 3.4 är de senaste tillskotten till HMD Globals budget smartphone-sortiment. Eftersom de båda är Android One-enheter får de garanterat två stora OS-uppdateringar och regelbundna säkerhetsuppdateringar i upp till tre år.
Säkra ditt hem med dessa SmartThings dörrklockor och lås.
En av de bästa sakerna med SmartThings är att du kan använda en massa andra enheter från tredje part på ditt system, dörrklockor och lås ingår. Eftersom de alla i huvudsak delar samma SmartThings-stöd har vi fokuserat på vilka enheter som har de bästa specifikationerna och tricksna för att motivera att de läggs till i din SmartThings-arsenal.