iPhone 11 -julkistustilaisuudessaan Apple kertoi jo puhelinten tulevan saamaan myöhemmin syksyn aikana päivityksenä kameraohjelmistoonsa vielä uuden Deep Fusion -prosessoinnin.
Ensi kertaa Deep Fusion on tulossa osaksi iOS 13.2:n beetatestiversiota, jonka julkaisun piti tapahtua rekisteröityneille sovelluskehittäjille jo eilen mutta jota Apple lopulta vielä selityksettä lykkäsi.
Deep Fusion toimii A13 Bionic -järjestelmäpiirin neuroverkkolaskentayksikön voimin ja hyödyntää edistynyttä koneoppimista. Deep Fusion -prosessointi yhdistää taustalla yhdeksän kuvaa, joista kahdeksan kamerajärjestelmä tallentaa jo ennen laukaisimen painallusta: ensin neljä lyhyen valotuksen kuvaa, sitten vielä neljä tavallista lisäkuvaa ennen laukaisimen painallusta ja sen jälkeen otetun pidemmän valotuksen kuvan. Kuvien yhdistäminen tehdään prosessoimalla ne pikseli pikseliltä käyden läpi yhteensä yli 24 miljoonaa pikseliä ja tavoitellen lopulta optimaalista lopputulosta kuvan tekstuurin, yksityiskohtien ja kohinan vähentämisen osalta.
Applen markkinointijohtaja Phil Schiller kuvaili uutta ominaisuutta ”laskennallisen valokuvauksen hulluksi tieteeksi” sitä aiemmin julkistustilaisuudessa esitellessään. Sen pitäisi entisestään parantaa jo nyt arvioissa laajasti kehuttua iPhone 11 -puhelinten kameran kuvanlaatua.
Uuden Deep Fusion -prosessoinnin mukaantulon myötä Applen iPhone 11 -puhelimissa on käytössä jatkossa kolme erilaista edistynyttä prosessointihaaraa: kirkkaissa ja keskivaloisissa kuvissa käytettävä Smart HDR -prosessointi, erillinen yötila vähäisen valon tilanteisiin sekä Deep Fusion, jota käytetään keskivaloisissa ja vähäisen valon tilanteissa joissa yötila ei kuitenkaan vielä aktivoidu. Ultralaajakulmakameran osalta käytetään vain Smart HDR:ää ja telekamerassa uusi Deep Fusion -prosessointi tulee käyttöön pääkameraa useammin, kertoo The Verge.
Deep Fusion -prosessointi yhdistää ensin otetusta yhdeksästä kuvasta neljä tavallisen valotuksen kuvaa yhden pidemmän valotuksen kuvan kanssa kuvaksi, jota Apple kutsuu ”synteettiseksi pitkän valotuksen kuvaksi”. Tämän jälkeen neljästä otetusta lyhyen valotuksen kuvasta valitaan eniten yksityiskohtia sisältävä ja se yhdistetään aiemmassa vaiheessa luodun synteettisen kuvan kanssa.
Kuvat yhdistetään käymällä ne läpi pikseli pikseliltä tavoitteena kasvattaa kuvan sisältämien yksityiskohtien määrää. Erityisesti tämä näkyy esimerkiksi ihon, hiusten ja vaatteiden sekä kankaiden yksityiskohdissa. Deep Fusion -prosessoinnissa järjestelmä arvioi tarkasti painotusta valitun lyhyen valotuksen ja luodun synteettiseen pidemmän valotuksen kuvan välillä sen osalta mitä niistä kummastakin valitaan osaksi lopullista valmista otosta. Lisäksi osana Deep Fusionia myös kohinanvaimennus toimii uudella tavalla.
Apple on esitellyt Deep Fusionin tuottamaa jälkeä erityisesti kuvilla neuleita päällään pitävistä ihmisistä. Näissä on mukana paljon yksityiskohtia, joiden tarkkuutta uuden prosessoinnin pitäisi parantaa.
Uusi Deep Fusion -prosessointi on laskennallisesti hieman tavallista Smart HDR:ää raskaampi ja vie kuvaa kohden noin sekunnin. Erityisesti otettaessa useita kuvia peräkkäin ja siirryttäessä heti tämän jälkeen Kuvat-sovellukseen, ei näkyvissä välttämättä olekaan heti valmista otosta vaan ennakkokuva, joka tarkentuu vielä prosessoinnin tultua valmiiksi.
Lisäksi Apple on kertonut, että osana sarjakuvaustoimintoa Deep Fusionia ei käytetä.
Käyttäjälle Deep Fusionin toiminta ei jatkossa näy mitenkään erikoisella tavalla eli sen käytöstä ei jää kuviin merkintää tai sen aktivoituminen ei näy kuvattaessa, toisin kuin esimerkiksi yötilan.
Kaikille iPhone 11, iPhone 11 Pro ja iPhone 11 Pro Max -käyttäjille Deep Fusion -prosessointi on tulossa aikanaan, kun iOS 13.2 julkaistaan tavallisena päivityksenä. Se voi kestää vielä viikkoja tai jopa kuukausia.
Alla kaksi Applen Deep Fusion -esimerkkikuvaa.
