Como funciona afinal o Deep Fusion?

O que é afinal este recurso de nome pomposo, Deep Fusion, que a Apple vai disponibilizar para os iPhones 11, 11 Pro e 11 Pro Max?

Ainda e sempre, recursos de fotografia e câmaras estão a ser o destaque dos novos iPhones. Definitivamente, este ano a aposta caiu em grande neste setor para a marca da maçã se tentar destacar dos demais.

Antes de mais, importa salientar que segundo a Apple o Deep Fusion implica usar o Processador Neural do A13 Bionic, ou seja, será um recurso que apenas funcionará na linha de iPhones 11 lançada em setembro de 2019.

Em modo resumo, o Deep Fusion é um recurso de software que vai usar software para processar e otimizar toda a textura que os pixeis das fotos captarem. Como exemplo a Apple recorre a fotos de pormenores de camisolas de lã. Todo aquele entrelaçar das malhas que compõem uma camisola, será possível distingui-lo graças a este modo. 

O Deep Fusion é um modo automático, logo não é possível ativar ou desativar quando o utilizador assim o entender. Contudo ele só funciona nas câmaras grande angular (wide) e teleobjetiva (telephoto). Fica assim de fora a câmara com lente ultra grande angular (ultra wide), permitindo assim ao utilizador que não pretenda usar este recurso usar esta solução.

A explicação técnica do Deep Fusion

Mais especificamente, segundo o TechCrunch, o funcionamento do Deep Fusion consiste no seguinte:

“Em fotos com lente grande angular, ele será ativado logo acima de aproximadamente 10 lux. Abaixo desta intensidade de luz o Modo Noturno entra em cena. … Nas lentes teleobjetiva, ele estará ativo em todas as situações, excluindo nos momentos de luz mais intensa, em que o Smart HDR assumirá o controlo, proporcionando um resultado melhor devido à abundância de brilhos.”

Tecnicamente é um processo mais complexo que o mesmo blog explica e que aqui tentamos replicar:

“A câmara capta um frame ‘curto’, com um valor EV negativo. Basicamente, uma imagem um pouco mais escura do que seria desejável e “pesca” a nitidez deste frame. Em seguida, ele tira 3 fotos EV0 normais e um frame EV+ ‘longo’, regista o alinhamento de todos e mistura-os. 

Isso reflete-se em duas fotos de 12MP – informação de 24MP – que são combinadas numa só foto de 12MP. A combinação das duas é feita usando 4 redes neurais diferentes que têm em consideração as características de “ruído” dos sensores de câmara do iPhone, bem como do ponto principal captado. 

A referida combinação é feita pixel a pixel. Um pixel é processado de cada vez para resultar na combinação perfeita para a imagem final. Os modelos de machine learning (aprendizagem automática do software) examinam o contexto da imagem para determinar a qual espectro de frequência da imagem, eles pertencem. O céu e outras áreas semelhantes são de baixa frequência, tons de pele na frequência média e objetos de alta frequência, são as roupas, folhagens, etc.

O Deep Fusion então extrai a estrutura e a tonalidade de uma imagem ou outra com base em proporções. 

O resultado geral, segundo a Apple, resulta em melhores transições de pele, melhores detalhes de roupas e melhor nitidez no perímetro de objetos em movimento.”

Todavia teremos que aguardar pela sua disponibilização ao público, para podermos testemunhar a eficácia de todo este processo, que apesar de complexo acontecerá num piscar de olhos.

4 Shares:

Deixa um comentário!