Czujniki Sony oparte na sztucznej inteligencji to przyszłość aparatów w smartfonach

Źródło: Jerry Hildenbrand / Android Central

Wcześniej w tym tygodniu Sony ogłosiło dwa nowe przetworniki obrazu IMX, które zmienią wszystko, jeśli chodzi o „inteligentną” fotografię.

To naprawdę odważne stwierdzenie, ale jest to również łatwe przewidywanie ze względu na sposób, w jaki smartfony i inne inteligentne produkty używają swoich aparatów. Oczekujesz większego „prawdziwego” aparatu z drogim obiektywem do robienia świetnych zdjęć, ponieważ zastosowany sprzęt ułatwia to. Ale kiedy używasz malutkiego czujnika w małym urządzeniu i stałym obiektywie, nie masz drogiej optyki do wykonywania ciężkich prac. Zamiast tego używane są rzeczy takie jak sztuczna inteligencja i to właśnie sprawia, że ​​nowe czujniki Sony są wyjątkowe: mają mały procesor AI wbudowany w pakiet czujników.

Te czujniki nie mają nic wspólnego z telefonem ani innymi produktami konsumenckimi. Są przeznaczone do przemysłu i produkcji sprzętu wizyjnego i firm takich jak Amazon wyraził zainteresowanie, ponieważ rozwiązanie typu „wszystko w jednym” oznacza wiele oszczędności kosztów wbudowanych w produkt. Ale jak wszystko, czujniki będą mniejsze i tańsze - w tej chwili IMX kosztuje około 90 dolarów - i ostatecznie znajdziesz je w domowych kamerach monitorujących, kamerach ciała, a nawet w Twoim smartfonie.

AI zmieniła fotografię smartfonów w coś niesamowitego.

Sztuczna inteligencja to wielka sprawa, jeśli chodzi o nasze aparaty w smartfonach, ale nikt tak naprawdę nigdy nie mówi o tym, dlaczego. To w porządku, ponieważ nasze oczy mogą nam powiedzieć, że "systemy akwizycji obrazu" oparte na sztucznej inteligencji sprawiają, że nasze zdjęcia wyglądają o wiele lepiej niż aparaty telefoniczne sprzed kilku lat. Ale odrobina wiedzy o tym, jak to zrobić, jest zawsze dobra.

Czujnik aparatu to tylko element elektroniki, który może zbierać kolor i intensywność światła. Po otwarciu aplikacji aparatu czujnik zaczyna zbierać te dane, a po dotknięciu migawki zostaje złapany i wysłany do innego sprzętu, który zamienia dane w zdjęcie. To oznacza, że ​​coś musi zostać zaprogramowane, aby dokonać konwersji.

Źródło: Sony Electronics Inc.

Sztuczna inteligencja wchodzi w grę, aby dodać lub przekonwertować dodatkowe lub nawet nieistniejące dane do procesu konwersji. Sztuczna inteligencja może pomóc wykryć zarys naszych włosów na ruchliwym tle. Potrafi oszacować odległość wszystkiego w scenie, ponieważ „wie”, jak duża jest jedna rzecz. Może pobierać dane z wielu przechwyconych obrazów i łączyć je, aby ulepszać zdjęcia w słabym świetle. Wszystkie aparaty cyfrowe używają sztucznej inteligencji, a aparaty telefoniczne często z niej korzystają.

Dzięki nowym czujnikom Sony środkowa warstwa inteligentnej elektroniki jest pomijana, ponieważ w pakiecie znajduje się procesor obrazu oparty na sztucznej inteligencji. Może to oznaczać, że naprawdę świetne zdjęcie można przesłać bezpośrednio na wyświetlacz, ale co ważniejsze, oznacza to, że wyjście wcale nie musi być zdjęciem.

Czujnik obrazu zasilany sztuczną inteligencją oznacza, że ​​wyjście wcale nie musi być obrazem.

Przykłady Sony pokazujące, jak ten czujnik może być używany, pokazują, że element i plik Amazon Go sklep może być śledzony z miejsca na półce do rąk klientów, bieżące podsumowanie liczby osób odwiedzających sklep w można zatrzymać centrum handlowe lub pies przed czujnikiem mógłby powiedzieć innemu oprogramowaniu, że przed czujnik.

Istnieje niezliczona ilość przypadków użycia tego rodzaju sprzętu w produkcji i wysyłce komercyjne zastosowanie, w którym dane tego, co „widzi” kamera, są równie ważne (lub ważniejsze) niż obraz to widzi. Samochód, którym jeździsz, pióro, którego używasz, nawet telefon, w którym trzymasz wszystkie używane systemy wizyjne do sortowania części lub wyszukiwania usterek. Ale dla nas interesujące jest to, jak działałoby to w telefonie.

Źródło: Sony Electronics Inc.

Jak wspomniano, Twój telefon już to wszystko robi. Jabłko, Google, a Huawei ma do pomocy specjalistyczny sprzęt, ale chip zasilający telefon ma ISP (Image Signal Procesor), który również w dużym stopniu opiera się na sztucznej inteligencji, aby robić te same rzeczy, co nowe czujniki aparatu Sony robić.

Telefony Samsunga robią naprawdę świetne „zwykłe” zdjęcia. Właściwie więcej niż wystarczająco dobre dla każdego. Ale kiedy zaczynasz podglądać piksele, okazuje się, że telefony Apple, Google i Huawei robią trochę lepsze zdjęcia. Mogą mieć wierniejsze kolory, lepiej wykrywać krawędzie, dzięki czemu zdjęcia są ostrzejsze, a nawet zdjęcia w trybie innym niż portretowe mają lepsze poczucie głębi.

Więcej: Najlepszy aparat na Androida w 2020 roku

Źródło: Ara Wagoner / Android Central

Dzieje się tak, ponieważ Samsung korzysta z jednego usługodawcy internetowego, chociaż ma bardzo dobry, aby zbudować zdjęcie z danych czujnika, podczas gdy inni używają dostawcy usług internetowych w połączeniu z dedykowanym sprzętem, który wykorzystuje sztuczną inteligencję do dalszego udoskonalenia procesu. Zdjęcia Samsunga są doskonałe i każdy, kto twierdzi, że wyglądają źle, nie jest autentyczny. Wyobraź sobie, co Samsung mógłby zrobić z dodatkową warstwą sztucznej inteligencji i gromadzeniem danych oprócz dostrajania ISP, który robi teraz.

A teraz pójdź o krok dalej i wyobraź sobie, jak firma taka jak Motorola czy OnePlus - z których nie słynie niesamowite aparaty - można to zrobić z dodatkową warstwą przetwarzania obrazu wykonywaną lokalnie na urządzeniu, które nie powoduje żadnego obciążenia proces.

Dziś nowe czujniki Sony interesują się dużymi firmami, które mają duże budynki pełne sprzętu. W niedalekiej przyszłości ty i ja też będziemy, ponieważ ten pomysł się spłynie.