Como o modo retrato do novo iPhone SE tenta superar o Pixel no Google

Fonte: Alex Dobie / Android Central

Não é segredo que Telefones Pixel do Google tiveram algumas das melhores câmeras que você encontrará em qualquer telefone, embora a maioria delas tenha apenas uma lente de câmera. Eles contam com a mágica do software para transformar o que a câmera vê em uma ótima foto, e efeitos como modo retrato ou visão noturna levam esse software ainda mais longe. Faz sentido - o Google é, afinal, principalmente uma empresa de software.

A Apple fabrica hardware e vende para as pessoas. O Google faz principalmente algoritmos.

A Apple não é basicamente uma empresa de software, pelo menos não da mesma forma que o Google. A Apple é mais parecida com a Samsung e cria produtos que as pessoas querem comprar sem pensar no software dentro deles. Mas, assim como a Samsung, o jogo da câmera da Apple é forte. Muito forte. Uma amostra de fotos do iPhone 11 mostra como as câmeras da Apple podem ser boas.

E então temos o novo iPhone SE. Vamos ser francos - é um iPhone 8 com um chipset melhor. Isso não é uma coisa ruim, mas significa que há apenas uma câmera para tirar fotos. Então, por que eles são tão bons, especialmente os retratos? E antes que você diga, eles são bons. Pelo menos retratos de pessoas, que explicaremos em breve. Aprendizado de máquina, é por isso.

Aquele novo chip

Fonte: iMore

o Processador A13 Bionic dentro do iPhone SE é o mesmo processador que você encontrará na série iPhone 11. É o mais recente da Apple e é realmente bom em muitas coisas - Machine Learning é uma dessas coisas, graças a um motor neural independente completo com seu próprio microprocessador.

Por causa desse hardware, a Apple foi capaz de incluir o que chama de "Estimativa de profundidade monocular de imagem única"que é uma maneira muito complexa de dizer que pode tirar fotos de retratos apenas com os dados de imagem que uma câmera pode capturar. Realmente. Não há sensor de tempo de voo ou LiDAR ou qualquer um dos outros truques que tornariam a captura de profundidade mais fácil, apenas a lente de uma câmera.

Mais: O que é uma câmera Time-of-Flight e como ela funciona?

Se isso soa um pouco familiar, é porque o Google tem feito algo muito semelhante com software "apenas" há alguns anos em seus telefones Pixel. Como funciona é muito, muito legal.

Aprendizado de máquina é um termo amplo que pode abranger uma série de coisas. No caso de obter dados de profundidade de uma única lente, ela está usando uma rede neural para coletar dados para que saiba como as coisas - no caso do iPhone SE, apenas as pessoas por enquanto - devem ser. Você alimenta um grande computador com milhares e milhares de fotos de pessoas e ele começa a encontrar padrões. Coisas como a forma geral dos olhos ou como o cabelo não tem um contorno perfeitamente liso.

Esse computador analisa todos os dados e agora "aprendeu" o que uma pessoa é e pode separar uma pessoa de seu passado. O pedaço de software que pode fazer isso precisa de algum espaço para viver, mas o mais importante, ele precisa de poder de processamento para executar sua rotina sempre que você pedir.

As máquinas não podem aprender, mas podem reconhecer padrões se alimentadas com dados suficientes.

É aí que o processador de aprendizado de máquina dedicado no A13 Bionic entra em ação. Muito parecido com os motores de câmera dedicados do Pixel - o Pixel Visual Core e os mais novos Google Neural Core - um chip dedicado para processar funções de aprendizado de máquina está lá e pronto. Quando você diz à câmera do iPhone SE para tirar uma foto de retrato, o processador neural entra em ação e encontra o pessoa na lente da câmera e alimenta os dados para o processador que transforma o que a câmera vê em um fotografia.

O resto é bem simples. As partes da foto que não são de uma pessoa ficam ligeiramente desfocadas e as partes que são de uma pessoa ficam ligeiramente mais nítidas. Não é perfeito, e qualquer telefone com duas lentes poderia alimentar mais dados para o mecanismo neural e criar uma foto muito melhor, mas na maioria das vezes a foto de retrato parece muito boa.

Apenas pessoas por enquanto

Fonte: iMore

Resposta curta - porque isso é tudo que a Apple "ensinou" o chip a processar agora. O contorno de uma pessoa é criado como um mapa de profundidade altamente detalhado e com uma borda muito bem definida. A Apple poderia ter decidido ensinar o motor neural sobre cactos, garrafas ou cachorros, mas as pessoas são o que mais tiramos fotos, então é aí que as coisas começam.

"Ensinar" a uma rede neural a aparência de uma pessoa é melhor do que ensinar a ela a aparência de um peixinho dourado se o objetivo final for a fotografia.

Mas a Apple também expôs o mapa de profundidade (dados de fundo e dados de "pessoas") como uma API para desenvolvedores. Isso significa que aplicativos de câmera de terceiros podem usar o modo retrato, assim como a câmera Pixel pode. Basta escolher um ponto focal e tirar uma foto, e a câmera tentará o melhor para obter informações de profundidade com base no contorno do que pode ver.

Vai ser bom em algumas coisas e não tão bom em outras porque não há algoritmo aprendido como o usado para pessoas. Mas ainda assim deve ser bastante capaz de tirar bons efeitos de retratos de outras coisas e fazê-los sair bem. Vimos como os telefones Pixel ficavam cada vez melhores a cada iteração, então sabemos que é possível.

A Apple provavelmente não vai lançar outro telefone com uma única lente de câmera e nem o Google. Mas dê aos algoritmos da Apple alguns anos e o iPhone SE poderá tirar fotos tão boas ou melhores do que qualquer telefone Pixel com uma única câmera já fez. E como o Pixel, ele pode usar o que aprendeu combinado com o dobro dos dados do dobro das lentes da câmera e dar a essa câmera Pixel uma corrida séria por seu dinheiro.

O que vem por aí para a Apple e o Google?

Fonte: Rene Ritchie / iMore

Mais e mais das mesmas inovações de software, é isso.

o Pixel 4 e o iPhone 11 Pro nos mostram o que cada empresa pode fazer quando usa esses algoritmos supercomplicados em em conjunto com uma câmera multi-lente, e é uma grande melhoria em comparação com o que cada empresa ofereceu no passado. Quando você tem o dobro de dados para trabalhar e aperfeiçoou a forma de coletar o direito dados, você pode fazer um trabalho realmente excelente quando se trata de construir uma câmera.

Mas isso não significa que nenhuma das empresas vai parar de se preocupar com câmeras de lente única. Nós sabemos o Pixel 4a está chegando e terá apenas uma câmera na parte de trás, e se o suposto iPhone SE + 2020 realmente acontecer, espere que seja um novo iPhone 8+ com apenas uma lente. Sem mencionar os milhões e milhões de selfies tirados todos os dias com um sistema de câmera de lente única.

Engenheiros de software e especialistas em visão de máquina em ambas as empresas tentarão aprender tudo o que puderem com os dois "dados duplos" lentes podem coletar e ver como isso pode ser trabalhado nos algoritmos que tornam as câmeras do iPhone SE e Pixel 4a (presumivelmente) tão danado de bom. E eles descobrirão coisas novas sobre como coletar luz com todos esses dados.

Cada atualização do sistema operacional tornará as câmeras melhores e trará melhorias para as câmeras frontais também. Não espere milagres reais, mas os resultados daqui a três anos serão muito bons!