Veja como a Qualcomm planeja mudar a fotografia móvel para sempre

A fotografia com smartphone realmente avançou muito nos últimos anos, mas o vídeo não fez necessariamente tantos avanços. Temos vídeo de 8K, por exemplo, o que é ótimo, mas a taxa de bits ainda é bastante limitada, é claro, porque estamos trabalhando com hardware limitado. Existe algum grande passo à frente que podemos esperar no lado do vídeo em particular?

Heape: O vídeo é muito mais desafiador por causa das taxas de dados e das resoluções que passam pelo ISP (processador de sinal de imagem). Para Snapshot, é claro, você sempre pode processar coisas em segundo plano ou ter um pouco de latência até a foto aparece na galeria, mas com o vídeo, você tem prazos realmente rígidos que deve cumprir para cada quadro, Armação. É importante que o vídeo seja feito em hardware e que seja otimizado para energia para que o telefone não derreta na sua mão quando você tenta gravar um vídeo 8K30, por exemplo.

Eu falei anteriormente sobre a fusão de três câmeras, onde você pode aplicar zoom perfeitamente de ultra-grande angular a grande-angular para telefoto. Isso será aprimorado para ser muito mais suave e fácil de controlar em revisões futuras. Obviamente, também queremos trabalhar muito para melhorar a experiência de HDR em vídeo para que todo o sistema possa utilizar o inovações que estão surgindo em sensores de imagem para fazer HDR quádruplo baseado em CFA (matriz de filtro de cores), HDR escalonado, multi-quadro HDR... esses são recursos realmente interessantes que afetam não apenas a qualidade dos instantâneos, mas também o fluxo de vídeo gravado e o visor.

Em termos de processamento de pixels, vamos dedicar mais hardware ao vídeo no futuro. No passado, fizemos coisas como compensação de movimento local para que você possa lidar com o ruído, não apenas com objetos em movimento panorâmico e global, mas também com objetos que se movem localmente dentro do quadro, Armação. Também estamos capitalizando nossos mecanismos de profundidade e movimento para fazer coisas como bokeh em vídeo, que pode ser feito em qualquer resolução, e em um futuro mais distante, procuraremos entender o conteúdo de um vídeo e o que cada pixel é.

Já aludi a isso antes, quando Morpho estava falando sobre segmentação semântica; quando os pixels são compreendidos pela câmera, seja pele, tecido, grama, céu, etc., esses são os tipos de entendimentos que ajudam a processar esses pixels diferentes para fatores como cor, textura e barulho. No futuro, faremos isso não apenas para Snapshot, mas também para vídeo.

Acho que o primeiro efeito bokeh de vídeo que vi foi no LG G8 no ano passado. Pode não ter chegado ao nível de tirar uma foto no modo retrato, mas ainda assim foi impressionante. Claro, a linha Pixel do Google é capaz de fazer coisas incríveis como segmentação semântica e seus vários modos noturnos, também.

Queremos mover muitos desses recursos para o vídeo; é a próxima etapa lógica. Mas o vídeo já é um problema de energia, especialmente se você está gravando em, digamos, 8K30 ou 4K120, então adicionando aqueles recursos em cima de um orçamento térmico já bastante saturado é um desafio, mas é nisso que estamos trabalhando no futuro.

E, por outro lado, que tipo de avanço a Qualcomm está trabalhando no lado da fotografia das coisas em termos de recursos como modo retrato e outros tipos de criativos modos de disparo?

Estamos realmente procurando expandir nosso alcance para a câmera em uma computação heterogênea e certificando-se de que a câmera realmente faz interface e se comunica perfeitamente com o motor AI em Snapdragon. Para fotos, o que você verá que faremos mais no futuro é usar IA para coisas como a eliminação de ruído, e podemos obter um desempenho muito bom para nos livrarmos de ruído, mas preservando os detalhes com pouca luz, além do que você pode fazer com técnicas tradicionais, como tipos de filtros padrão que todos usa.

"Você não terá que se preocupar em retocar suas fotos, o mecanismo de IA garantirá que elas sejam totalmente otimizadas daqui para frente."

Outra área que toquei com o vídeo é o HDR. Estaremos usando o mecanismo de IA junto com as fotos capturadas para escolher as melhores partes da cena. Portanto, algo que podemos fazer em IA para ajustar automaticamente a imagem é um retoque inteligente, em que fazemos um processamento com reconhecimento de conteúdo para conteúdo tonal, conteúdo de sombra, realces e cores.

Isso é algo que achamos que será realmente poderoso; você não terá que se preocupar em retocar seus telefones, o mecanismo de IA garantirá que eles sejam completamente otimizados em todas essas áreas daqui para frente.

Uma terceira área em que as pessoas não pensam necessariamente é a detecção de rosto. No passado, usamos técnicas mais tradicionais quando a câmera estava ativa para detectar rostos, e isso realmente determinava o funcionamento da câmera. Quando a câmera vê que há um rosto na imagem, ela usa esse rosto para gerenciar alguns dos itens no processo 3A. Ele pode usar o rosto para determinar se você tem a exposição correta ou pode usar o rosto como ponto automático de foco automático.

No futuro, acho que usaremos mais abordagem de aprendizado profundo, onde podemos usar nosso mecanismo de IA para detectar faces com mais precisão e com menos falsos positivos. Seremos capazes de ser muito mais flexíveis ao determinar se as faces são detectáveis ​​em diferentes orientações, distâncias, etc.

No meu Sony a7 III, há um recurso que permite que você tire uma foto de um rosto específico e diga ao câmera para priorizar a pessoa de interesse em coisas como foco automático, mesmo quando outros rostos estão no tiro. É algo que poderíamos potencialmente ver em um telefone no futuro?

Você pode fazer isso facilmente com a IA, sem se aprofundar na segurança e nas coisas que você precisa fazer para reconhecer rostos para coisas como pagamentos e desbloqueio do telefone. Você pode fazer isso basicamente na câmera e saber se é o rosto A ou B - não necessariamente se é o rosto que deveria desbloquear o telefone, mas apenas um rosto interessante. Isso tudo é possível, e será possível com aquele mecanismo atualizado que faremos para detecção de rosto de aprendizagem profunda.

E eu só tenho que perguntar. A recém-anunciada EOS R5 da Canon pode obviamente gravar vídeo 8K, mas o mais interessante para mim é sua capacidade de gravar 4K com excesso de amostragem na câmera, que condensa informações de imagens de origem de 8K para obter vídeos de 4K mais nítidos sem a necessidade de fazer você mesmo na postagem e lidar com os enormes tamanhos de arquivo de 8K. Isso é algo que podemos ver em telefones em algum momento, ou isso nos chama de volta para as limitações de aquecimento e taxas de bits?

Esta é uma boa pergunta. Isso é algo que nossos OEMs podem fazer; é claro, oferecemos modos nativos para fotografar em 4K e 8K, mas como 8K também consome muita energia, é certamente viável fazer up-conversion ou down-conversion. Uma das coisas - talvez o problema ao contrário - que também pretendemos fazer é o aprimoramento inteligente para vídeo.

Hoje, no lado da foto, você pode usar vários frames para criar mais pixels e obter uma imagem de resolução mais densa, mas o mesmo no vídeo também é possível. Você pode gravar em uma resolução mais baixa e usar os movimentos leves na câmera de quadro a quadro para até mesmo converter em até 3x sem qualquer degradação perceptível.

Também gostaria de perguntar sobre a sobrecarga quando se trata do suporte da Qualcomm a tantos tipos diferentes de smartphones de diferentes fabricantes e atendendo às várias demandas de cada um, conforme as empresas tentam se diferenciar por meio de recursos exclusivos de câmera. Especialmente agora que estamos vendo várias câmeras em quase todos os telefones, independentemente do preço - isso deve ser muito com que se preocupar.

Isto é! Como a câmera é um recurso tão importante, todo OEM deseja se diferenciar em suas câmeras. Portanto, a Qualcomm lançará a plataforma de hardware e o software da câmera, que possui uma infinidade de recursos, mas, claro, um OEM deseja ser diferente de outro OEM. Então, eles estão escolhendo lentes diferentes, diferentes sensores de imagem, eles estão organizando os sensores de forma diferente na frente e atrás, eles estão adicionando coisas como sensores de profundidade ou foco assistido por laser ou macro máquinas fotográficas...

Muitos clientes também querem se diferenciar no software. Talvez eles queiram fazer seu próprio algoritmo; para fazer uma função específica na câmera por conta própria; eles querem melhorar um pouco a maneira como algo como o Demosaic é feito.

"Temos uma rede realmente forte de fornecedores terceirizados que realmente cultivamos."

Portanto, o desafio que temos é atender a todas essas personalizações e diferenciações, mas temos uma equipe de sistemas muito boa e equipe de engenharia do cliente, cujo trabalho 24 horas por dia, 7 dias por semana, é garantir que os clientes tenham sucesso e possam integrar seus próprios características.

Uma coisa que realmente diferencia a Qualcomm de outros fornecedores que fornecem IP de câmera é que temos uma rede muito forte de fornecedores terceirizados que nós realmente criamos e queremos ter certeza de que, quando tivermos um fornecedor terceirizado que possa estar trabalhando com um cliente, todos estejamos trabalhando juntos.

Quando nos envolvemos com um OEM e eles se envolvem com um terceiro como Morpho ou ArcSoft, o terceiro também entra em contato conosco diretamente. Então, se eles quiserem fazer algo com câmeras triplas ou IA, trabalharemos com esse terceiro para garantir que tenham o melhor e mais recente plataformas de desenvolvimento, software de linha de base e APIs, e que eles têm a capacidade de aproveitar nossos blocos de hardware, tanto dentro como fora do Câmera.

Android Central Podcast # 452: Uma conversa com a Qualcomm

Algo que o terceiro pode fazer na CPU, eles podem descobrir que podem fazer com menos energia se alavancarem algum bloqueio em nosso ISP, ou em nossa visão de computador - nosso mecanismo EVA. Talvez se eles moverem o algoritmo da CPU para o DSP, como o motor HVX (Hexagon Vector Extensions), eles possam obter melhor desempenho e menor potência. Estamos em contato direto com cada ISV (fornecedor independente de software) em nossa rede de terceiros para garantir que quaisquer soluções que apresentemos para ajudar o OEM a personalizar são tão simples e de baixo consumo de energia quanto possível.

Uma espécie de desdobramento dessa questão: como você equilibra os conjuntos de recursos da própria Qualcomm e os de um determinado cliente? Voltando ao Google, adoraria ver o modo astrofotografia do Pixel 4 chegar a outros telefones, mas onde você traça os limites e deixa esse tipo de desenvolvimento para o OEM?

É um tipo de coisa constante em que pensamos. Como podemos equilibrar isso? Como permitimos que nossos OEMs e ISVs se diferenciem, em comparação com os recursos que vamos apresentar como linhas de base que podem chegar a todos e, por sua vez, remover essa diferenciação de alguns OEMs? Acho que nossa força motriz é - são duas coisas. Qualquer coisa que acharmos que vai melhorar a experiência da câmera e impulsionar todo o ecossistema, queremos abordar isso a partir de uma perspectiva de experiência do usuário em todo o setor.

Portanto, se há um determinado recurso que acreditamos que vai beneficiar a todos e realmente empurrar todo o sistema de câmeras móveis para algo como uma câmera sem espelho, vamos integrá-lo. A outra coisa que observamos é a qualidade da imagem. Se for algo que afetará especificamente as pontuações de qualidade de imagem de, digamos, uma empresa de benchmarking de terceiros como a DxOMark, por exemplo, queremos ter essa capacidade internamente. Para coisas como zoom ou redução de ruído, melhor detecção de rostos, processamento segmentado, HDR e assim por diante, tudo isso é medido na indústria, por isso queremos ter certeza de que a oferta que oferecemos a todos os nossos clientes tenha essas áreas tão otimizadas quanto elas pode ser.

Portanto, esses são os dois fatores determinantes; não queremos pisar no pé de nossos clientes e de nossa rede de terceiros que podem querer inovar, mas, por outro lado, se realmente empurra todo o ecossistema para frente ou se isso impacta algo como uma pontuação do DxOMark, nós realmente queremos tentar oferecer isso a todos para mover tudo frente.

Você mencionou anteriormente como a Qualcomm está procurando melhorar a transição perfeita entre as lentes conforme você aumenta e diminui o zoom. Acabei de fazer uma revisão retrospectiva do Galaxy Note 10 do ano passado e ainda fiquei impressionado com a consistência da imagem em cada lente. Existem pequenas diferenças, é claro; o ultra-largo em particular é mais rápido para estourar os realces, mas as cores são realmente precisas e, embora haja uma fração de segundo de atraso durante a transição entre as lentes, é muito impressionante. Estou animado para ver isso melhorar ainda mais.

Isso não é fácil. Você tem três sensores de imagem diferentes e, geralmente, eles não são nem mesmo o mesmo tipo de sensor de imagem. Você tem várias lentes, precisa ajustar essas câmeras para que a cor fique no local; que a transição do foco e a exposição são as mesmas; o equilíbrio do branco é o mesmo; a cor é a mesma; a textura básica e o ajuste de ruído são os mesmos... caso contrário, seu olho vai ver. É muito bom captar essas descontinuidades.

Estamos tentando construir mais e mais ganchos no hardware para que isso possa ser feito facilmente durante a transição, e quando você vai de amplo para ultra-amplo, não se trata apenas de combinar esses parâmetros. É também sobre quando você está naquele ponto de transição, onde você disse que há um pequeno atraso; há também uma fusão acontecendo entre essas duas imagens para garantir que a orientação e a linha dessas imagens sejam perfeitas, e isso é realmente feito em tempo real com um bloco de hardware no ISP que gerencia a orientação e a distorção para fazer essas duas imagens se alinharem perfeitamente.

Há muito nisso, especialmente nas pequenas regiões de transição onde você deseja que seja ultra-suave; há muito hardware por trás disso que está fazendo isso acontecer.