Artykuł

Z biurka redaktora: Dlaczego wyniki DxOMark są w zasadzie bezwartościowe

protection click fraud
OnePlus 5, LG G6

W tym tygodniu, po niewielkiej ilości fanfar, plik OnePlus 5 uzyskał wynik DxOMark Mobile na poziomie 87. Dzień później, jakby idealnie zgrał się w czasie, aby zademonstrować wady swojego systemu ratingowego, DxO dał LG G6 84. Internet jest odpowiednio podekscytowany. Wątki komentarzy sugerują, że wydarzyło się coś nieoczekiwanego w wyniku niedawno ogłoszonego partnerstwa OnePlus z DxO. Reddit płynie w niedowierzającej złości.

Zacznę od stwierdzenia, że ​​nie sądzę, by DxO pozwoliło, aby jakakolwiek ilość pieniędzy zmieniła właściciela między nim a OnePlus, aby wpłynąć na obiektywność testów. Nikt bezpośrednio nie kupuje ani nie sprzedaje wyższych wyników benchmarków - to byłoby szalone. Niemniej jednak stało się jasne, że jako podstawa do oceny, czy jeden aparat smartfona jest lepszy od drugiego, numerowane wyniki firmy są w najlepszym przypadku błędne.

Verizon oferuje Pixel 4a za jedyne 10 USD miesięcznie na nowych liniach Unlimited

Ogólne wyniki DxO są pobierane ze średniej ocen cząstkowych dla ekspozycji i kontrastu, kolorowego autofokusa, tekstury, szumu, artefaktów i stabilizacji. Istnieje krótkie wyjaśnienie (datowane na 2012 rok) opisujące, w jaki sposób DxO generuje te mobilne wyniki, najwyraźniej pokazując połączenie testów automatycznych i percepcyjnych - to ostatnie z udziałem człowieka używającego telefonu w sieci prawdziwy świat. W przypadku testów automatycznych DxO opiera się na oprogramowaniu, takim jak własny analizator DxO, który jest używany przez czołowych producentów aparatów na świecie do oceny jakości obrazu.

Szczegóły partnerstwa DxO z OnePlus (i innymi producentami, takimi jak HTC i Google) nie zostały ujawnione publicznie. Ale przypuszczalnie jest to oprogramowanie, wraz z innym sprzętem testującym, do którego mają dostęp zespoły obrazujące tych producentów telefonów.

OnePlus 5

Pojedyncze numerowane partytury aparatów telefonicznych są od razu zbyt niejasne i zbyt szczegółowe.

Po pierwsze, zajmijmy się wadami używania jednej liczby do podsumowania całego doświadczenia z kamerą mobilną. Sprowadzenie aparatu w smartfonie do wyniku procentowego może być jednocześnie zbyt niejasne i zbyt szczegółowe. Liczba - średnia nieważona - nie oddaje złożoności współczesnych aparatów w smartfonach, gdzie wydajność może się znacznie różnić w zależności od sytuacji i nie wszystkie czynniki są jednakowe ważny. Jednocześnie wynik na 100 sugeruje precyzja. OnePlus 5, Huawei P10 i Samsung Galaxy S6 edge + są równie dobre, mówią nam liczby. LG G6 i Moto G4 Plus również są równe, z wynikiem DxO 84. Każdy, kto używał tych urządzeń w prawdziwym świecie, powie ci, że rzeczywistość nie jest nawet bliska.

Tymczasem DxO ocenia Galaxy S6 edge + jako 87, podczas gdy Galaxy Note 5 to 86. Oba telefony mają ten sam wewnętrzny sprzęt i moduły aparatu. Między tymi dwoma telefonami występuje jednopunktowa różnica, która w kategoriach obrazowania wynosi identyczny. Istnieje również jednopunktowa różnica między Samsungiem Galaxy S8 a Sony Xperia Z5, które różnią się o lata świetlne w rzeczywistych warunkach.

To podkreśla szaleństwo polegające na umieszczaniu informacji w tych pojedynczych numerowanych partyturach aparatów telefonicznych, szczególnie, gdy ta sama wariancja może istnieć między dwiema fizycznie identycznymi kamerami i dwoma bardzo, bardzo różne. Wyniki DxO mogą również służyć jako przyzwoity punkt odniesienia dla surowych możliwości każdego aparatu (osobiście myślę, że nawet to jest dyskusyjne - zobacz przykład LG G6 vs Moto G4 Plus powyżej), ale mają też efekt mętnienia ważnych szczegółów wokół użycie w świecie rzeczywistym.

Wyniki DxOMark często nie pokrywają się z rzeczywistością, mówiąc nam, że LG G6 jest tak dobry, jak zeszłoroczny Moto G4 Plus.

Pisemne recenzje DxO są znacznie bardziej pouczające - w rzeczywistości zagłębiają się w ważne szczegóły, które sprawiają, że aparat w telefonie jest dobry lub zły. Jednak to liczby, którymi producenci obnoszą się w swoich materiałach marketingowych i które DxO wyświetla hierarchicznie na pasku bocznym.

Następnie pojawia się bardzo oczywisty problem - i potencjalny konflikt interesów - polegający na sprzedaży sprzętu testowego producentom telefonów, którego ostatecznie używasz do publicznego oceniania ich wydajności. Chodzi przypuszczalnie o umożliwienie producentom telefonów ulepszania ich aparatów za pomocą powtarzalnych, naukowych testów dotyczących jakości obrazu. Ale ma to również wpływ na umożliwienie producentom OEM „uczenia się do testów”.

LG G6

Model partnerstwa DxO pozwala producentom OEM „uczyć się do testów”

Jak przebiegły student przygotowujący się do standardowego testu, producenci, którzy współpracują z DxO i uzyskują dostęp do jego sprzętu i oprogramowanie, mogą dostroić przetwarzanie obrazu, aby udoskonalić syntetyczne testy firmy (w granicach sprzętu, np kierunek). W rezultacie ich oceny są wyższe, gdy DxO ostatecznie je opublikuje - ponieważ przez cały czas mieli dostęp do sprzętu testowego. Producenci, którzy nie współpracują z DxO, automatycznie znajdują się w niekorzystnej sytuacji, jeśli chodzi o swój wynik, nawet jeśli jakość obrazu w świecie rzeczywistym, poza laboratorium, może nie być znacznie gorsza. Kiedy tak się dzieje, co jest do tego zobowiązane, konsumenci, którzy wierzą w porównania wyników partnerów i osób niebędących partnerami, są potencjalnie wprowadzani w błąd.

W ten sposób otrzymujemy wyniki, które mówią, że Moto G4 Plus jest tak dobry jak LG G6, który jest gorszy niż OnePlus 5.

I tu pojawia się potencjalny konflikt interesów. Nawiąż współpracę z DxO, a Twój telefon będzie miał możliwość maksymalizacji ostatecznego wyniku recenzji - a jeśli jest to nowy flagowy telefon, może ukraść koronę z nowym najlepszym wynikiem. Producenci, którzy nie licencjonują produktów DxO, konkurują na nierównych warunkach.

Biorąc to wszystko pod uwagę, często wyniki DxOMark zrobić porównać z obserwacjami doświadczonych recenzentów technicznych. Firma słusznie nazwała Google Pixel najlepszym aparatem w smartfonie 2016 roku. I myślę, że większość recenzentów zgodziłaby się, że HTC U11 ma, ze smukłym marginesem, prawdopodobnie najlepszy aparat telefoniczny wypuszczony do tej pory w 2017 roku.

Ale to nie powinno rekompensować rażących przykładów wyników DxOMark, które nie pokrywają się z rzeczywistością, czyli z których ostatni mówi nam, że flagowy telefon LG z 2017 roku jest tak dobry, jak roczna Motorola średni strażnik. W rezultacie te wyniki mogą być praktycznie bezwartościowe w przypadku bezpośredniego porównywania dwóch lub więcej telefonów.

Konkluzja: recenzje DxO są pouczające i dobrze zbadane. Ale te numerowane partytury? Zapomnij o nich.

Inne szanse i zakończenia na weekend roboczy:

  • Mamy miesiąc od Android O zostanie sfinalizowana, a na pewno zaledwie kilka dni od ustalenia, co oznacza „O”. Ciasteczko owsiane to najwyraźniej wewnętrzny kryptonim - nie czytaj zbyt wiele w tym; wewnętrzne kryptonimy często różnią się od publicznych pseudonimów. Ale naprawdę jakie są inne opcje poza Oreo? Jeśli Google nie zawrze partnerstwa z gigantem plików cookie, Oatmeal Cookie może domyślnie wygrać.
  • W związku z tym, duża wygrana dla Sony, jeśli może być pierwsza z Androidem O na nowym telefonie, jak wydaje się sugerować młyn plotek.
  • Pomijając kontrowersje związane z DxOMark i przewijanie galaretki, podoba mi się OnePlus 5, a druga opinia pojawi się na początku przyszłego tygodnia. Aparat jest całkiem niezły. Nie najlepiej. Nie jest zły. Przyznaję 85 AleXMarków.
  • Ponieważ mam zamiar trochę podróżować, a Google wciąż nalega na pobieranie szalonych pieniędzy za Pixel C, mam iPada Pro w drodze do mnie. (Nie oceniaj.) Przez lata używałem iPadów z włączaniem i wyłączaniem - prawie nieuchronnie sprzedawałem je po kilku miesiącach. Zobaczymy, czy najnowszy wypadnie lepiej i jak w końcu się dostosuje iOS 11.
  • Google z pewnością ma w sprzedaży własny kabriolet tej jesieni. Z niecierpliwością oczekuję, że tablety z Androidem będą mniej pustkowiem niż obecnie.

Otóż ​​to. Więcej gorących ujęć za kilka tygodni.

-Alex

To najlepsze bezprzewodowe słuchawki douszne, które możesz kupić za każdą cenę!
Czas przeciąć przewód!

To najlepsze bezprzewodowe słuchawki douszne, które możesz kupić za każdą cenę!

Najlepsze bezprzewodowe słuchawki douszne są wygodne, świetnie brzmią, nie kosztują zbyt wiele i łatwo mieszczą się w kieszeni.

Wszystko, co musisz wiedzieć o PS5: data premiery, cena i nie tylko
Następne pokolenie

Wszystko, co musisz wiedzieć o PS5: data premiery, cena i nie tylko.

Sony oficjalnie potwierdziło, że pracuje nad PlayStation 5. Oto wszystko, co o nim wiemy.

Nokia wprowadza na rynek dwa nowe budżetowe telefony z Androidem One poniżej 200 USD
Nowe Nokie

Nokia wprowadza na rynek dwa nowe, budżetowe telefony z Androidem One poniżej 200 dolarów.

Nokia 2.4 i Nokia 3.4 to najnowsze dodatki do budżetowej linii smartfonów HMD Global. Ponieważ oba są urządzeniami z Androidem One, mają gwarancję otrzymania dwóch głównych aktualizacji systemu operacyjnego i regularnych aktualizacji zabezpieczeń przez okres do trzech lat.

Zabezpiecz swój dom dzwonkami i zamkami SmartThings
Ding Dong - drzwi zamknięte

Zabezpiecz swój dom dzwonkami i zamkami SmartThings.

Jedną z najlepszych rzeczy w SmartThings jest to, że możesz używać wielu innych urządzeń innych firm w swoim systemie, w tym dzwonków do drzwi i zamków. Ponieważ wszystkie one zasadniczo korzystają z tej samej obsługi SmartThings, skupiliśmy się na tym, które urządzenia mają najlepsze specyfikacje i sztuczki, aby uzasadnić dodanie ich do arsenału SmartThings.

instagram story viewer