Ny sharpening fra google

Optagelse og redigering af video og billeder, lyd til video, Final Cut, Premiere Pro, Pinnacle, m.v.
Nyt svar

Medlemsavatar
Kimex
Forum Donator
Indlæg: 1259
Sted: Aarhus

Indlæg af Kimex »

Jeg har set det.

Nu kan blinde fotografere :-D

Medlemsavatar
keen
Medlem
Indlæg: 1502
Sted: Aarhus, næsten.

Indlæg af keen »

Jeg kan ikke lade være med at tænke på denne. :-D

Billede
Microsoft Certified og Apple fanboy!


Medlemsavatar
Kimex
Forum Donator
Indlæg: 1259
Sted: Aarhus

Indlæg af Kimex »

Det er efterhånden længe siden teknologien til lytro kamera blev opfundet.. Light Field Camera kaldes det.
Lytro Illum har en opløsning på 40 millioner. lysstråler.

https://www.lydogbillede.dk/nyheter/tek ... ye-kamera/

Medlemsavatar
Pastorius
Forum Donator
Indlæg: 265

Indlæg af Pastorius »

Er det noget man selv kan lege med, eller har de kun vist konceptet indtil videre?
--
Robert

Medlemsavatar
DUBTEMPLE
Forum Donator
Indlæg: 6924
Sted: DK/SE

Indlæg af DUBTEMPLE »

Pastorius skrev: tirs 14. sep 2021 14:28
Er det noget man selv kan lege med, eller har de kun vist konceptet indtil videre?
Kun conceptet ind til videre som jeg læser det
/Dub

Medlemsavatar
Pastorius
Forum Donator
Indlæg: 265

Indlæg af Pastorius »

DUBTEMPLE skrev: tirs 14. sep 2021 15:06
Pastorius skrev: tirs 14. sep 2021 14:28
Er det noget man selv kan lege med, eller har de kun vist konceptet indtil videre?
Kun conceptet ind til videre som jeg læser det
Ok, jeg kunne heller ikke finde noget, men jeg syntes jeg så en på twitter vise et eksempel i går - men det har nok bare været fra googles eget billedemateriale.
--
Robert

Medlemsavatar
DUBTEMPLE
Forum Donator
Indlæg: 6924
Sted: DK/SE

Indlæg af DUBTEMPLE »

Pastorius skrev: tirs 14. sep 2021 15:09
DUBTEMPLE skrev: tirs 14. sep 2021 15:06
Pastorius skrev: tirs 14. sep 2021 14:28

Er det noget man selv kan lege med, eller har de kun vist konceptet indtil videre?
Kun conceptet ind til videre som jeg læser det
Ok, jeg kunne heller ikke finde noget, men jeg syntes jeg så en på twitter vise et eksempel i går - men det har nok bare været fra googles eget billedemateriale.
Yep, forestiller mig de måske licencere algoritmen ud til f.eks. PS og andre editorer på sigt
/Dub

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 9092
Sted: Oslo

Indlæg af Mike-air »

De kommer nok ikke til at licensere algoritmen fordi teknologien er offentlig tilgængelig (hvilket er standarden alle følger indenfor det her område, bortset fra Apple).

Artiklen er frit tilgængelig på arxiv (eksempler fra side 15):
https://arxiv.org/pdf/2104.07636.pdf

En ‘sjov’ fejl denne familie af modeller laver er at de ikke kan generalisere ud over koncepter de tidligere har set. Eksempelvis var der en lignende model (som dog var et filter) som kun var trænet på video fra sydtyskland, og når så filteret blev brugt på video fra californien blev bjergene fyldt med træer (som i sydtyskland).

Men intentionen er at opdage de her fejl og kollektivt løfte udviklingen videre, selv om det måske lyder som en dårlig forretningsmodel.

Medlemsavatar
Pastorius
Forum Donator
Indlæg: 265

Indlæg af Pastorius »

Mike-air skrev: tirs 14. sep 2021 16:17 De kommer nok ikke til at licensere algoritmen fordi teknologien er offentlig tilgængelig (hvilket er standarden alle følger indenfor det her område, bortset fra Apple).

Artiklen er frit tilgængelig på arxiv (eksempler fra side 15):
https://arxiv.org/pdf/2104.07636.pdf

En ‘sjov’ fejl denne familie af modeller laver er at de ikke kan generalisere ud over koncepter de tidligere har set. Eksempelvis var der en lignende model (som dog var et filter) som kun var trænet på video fra sydtyskland, og når så filteret blev brugt på video fra californien blev bjergene fyldt med træer (som i sydtyskland).

Men intentionen er at opdage de her fejl og kollektivt løfte udviklingen videre, selv om det måske lyder som en dårlig forretningsmodel.
Enig - det er heller ikke Googles normale forretningsmodel. De plejer at stille det meste frit til rådighed, for at høste endnu mere data om deres brugere.
--
Robert

Medlemsavatar
Kimex
Forum Donator
Indlæg: 1259
Sted: Aarhus

Indlæg af Kimex »

Det er vel ikke kun algoritmen. Og A.I Det må også være enorme mængder data fra billeder . Hvor A.I lærer at samle billeder og lærer sig selv det. Det er mit gæt at det fungerer sådan.

Måske er det Googles enorme mængde billede data A.I lærer fra.

Medlemsavatar
Pastorius
Forum Donator
Indlæg: 265

Indlæg af Pastorius »

Kimex skrev: tirs 14. sep 2021 17:11 Det er vel ikke kun algoritmen. Og A.I Det må også være enorme mængder data fra billeder . Hvor A.I lærer at samle billeder og lærer sig selv det. Det er mit gæt at det fungerer sådan.

Måske er det Googles enorme mængde billede data A.I lærer fra.
Ja, verdenen er et sjovt sted. Apple er lige blevet slagtet for at ville scanne efter børneporno. Ingen løfter et øjenbryn over at google scanner alt hvad de kan komme i nærheden, og holder det sammen med dine placeringshistorik, dine internetvaner, dine køb og alt muligt andet.
--
Robert

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 9092
Sted: Oslo

Indlæg af Mike-air »

Kimex skrev: tirs 14. sep 2021 17:11 Det er vel ikke kun algoritmen. Og A.I Det må også være enorme mængder data fra billeder . Hvor A.I lærer at samle billeder og lærer sig selv det. Det er mit gæt at det fungerer sådan.

Måske er det Googles enorme mængde billede data A.I lærer fra.
Der er som sådan to sider af det; 1) arkitektur samt lærings-algoritme/metode, og så er der 2) resultatet som er nogle enorme matriser med parametre (googles model her har 1,95 milliarder), hvor værdierne af disse repræsenterer hvad modellen lærer.

Resultat-værdierne i modellens parametre er rigtigt nok det som gør at den ‘virker’, men hvordan disse arrangeres, hvor mange der skal være og hvordan de skal transformeres (det er dette man kalder arkitektur), er den anden halvdel af det. Har du arkitektur (bilag A i artiklen), lærings-metode (afsnit 2) og datasæt (se her under) kan du skabe en model som er lige så god eller bedre.

Mht data:
Datasets: We follow previous work [28], training face super-resolution models on Flickr-Faces-HQ (FFHQ) [20] and evaluating on CelebA-HQ [19]. For natural image super-resolution, we train on ImageNet 1K [43] and use the dev split for evaluation.
Alle disse datasæt som de har brugt er offentligt tilgængelige, så hvis du har penge nok kan du leje en masse virtuelle maskiner hos amazon og træne din egen model som kan det samme. Årsagen er igen at man skal kunne verificere og sammenligne resultater: Hvis alle aktører arbejder på forskellige eller private datasæt er det umuligt at have en baseline at sammenligne med.
Pastorius skrev: tirs 14. sep 2021 17:23
Kimex skrev: Det er vel ikke kun algoritmen. Og A.I Det må også være enorme mængder data fra billeder . Hvor A.I lærer at samle billeder og lærer sig selv det. Det er mit gæt at det fungerer sådan.

Måske er det Googles enorme mængde billede data A.I lærer fra.
Ja, verdenen er et sjovt sted. Apple er lige blevet slagtet for at ville scanne efter børneporno. Ingen løfter et øjenbryn over at google scanner alt hvad de kan komme i nærheden, og holder det sammen med dine placeringshistorik, dine internetvaner, dine køb og alt muligt andet.
Fun fact; i samme boldgade som med træerne i californien-eksemplet, er det nogle gange lykkedes at genskabe trænings-dataen via et såkaldt ‘adversarial attack’. Lige netop det at bruge sensitiv data til træning vil derfor være en rigtig dårlig ide.
However, recent research shows that machine learning models may leak sensitive informa- tion about training samples. Attacks can be launched against target models to infer membership in the training set (Shokri et al. 2017) or to reconstruct training data (Fredrikson, Jha, and Ristenpart 2015). Similarly, GAN models do not pro- vide guarantees on what the generated data may reveal about real, sensitive training data, e.g., real participants in a clin- ical study
https://www2.isye.gatech.edu/~fferdinan ... aper_9.pdf

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 9092
Sted: Oslo

Indlæg af Mike-air »

Her er et eksempel fra artiklen. Google-forskerne har henledt opmærksomheden på hvor detaljeret øjet er, men hvis man tager et kig der hvor jeg har lavet en blå pil vil man se at modellen har svært ved at generalisere fra særlige objekter den ikke har set tidligere (øreringen).

Venstre: SR3 (Google), højre: Det rigtige billede.
gan.PNG
gan.PNG (1.23 MiB) Vist 81 gange

Hva kan man gøre? Mere data, mere robust metode.

Medlemsavatar
Kimex
Forum Donator
Indlæg: 1259
Sted: Aarhus

Indlæg af Kimex »

Mike-air skrev: tirs 14. sep 2021 22:52 Her er et eksempel fra artiklen. Google-forskerne har henledt opmærksomheden på hvor detaljeret øjet er, men hvis man tager et kig der hvor jeg har lavet en blå pil vil man se at modellen har svært ved at generalisere fra særlige objekter den ikke har set tidligere (øreringen).

Venstre: SR3 (Google), højre: Det rigtige billede.
gan.PNG


Hva kan man gøre? Mere data, mere robust metode.
Øjnene er heller ikke det samme. Flashrefleksen mangler næsten i Google billedet. Lyset er lidt mere levende i det højre billede. Det venstre virker lidt mindre belyst. Derfor virker det som om der er lidt mere farve i kinderne. Og er tænderne ikke en anelse hvidere på det højre billede ?

Medlemsavatar
Hugo
Forum Donator
Indlæg: 1364
Sted: UdkantsDanmark

Indlæg af Hugo »

Jeg vil sige at, havde jeg skudt det venstre foto, var det blevet kasseret.
Det højre betragter jeg som et RAW foto som trænger til en del editering, især sharpening og vibrering.
Aldrig har så stor en idiot haft så lidt forstand på så mange plug-ins

https://soundcloud.com/user-469072941

Nyt svar