4k 60fps opskalering af video fra 1896

Optagelse og redigering af video og billeder, lyd til video, Final Cut, Premiere Pro, Pinnacle, m.v.
Nyt svar
Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

4k 60fps opskalering af video fra 1896

Indlæg af Mike-air »

Original:


4k 60fps:


Farvelagt:


Viiildt cool IMHO.

Bliver interessant at se i hvilken grad dette lader sig gøre på lyd.

Medlemsavatar
Joachip
Forum Donator
Indlæg: 2641
Sted: Vesterbro

Indlæg af Joachip »

Den klarer specielt alle de lige linier rigtigt flot! :-D
Jeg laver også gratis plugins: www.robotplanet.dk/audio_plugins

Medlemsavatar
DUBTEMPLE
Forum Donator
Indlæg: 8689
Sted: DK/SE

Indlæg af DUBTEMPLE »

Ahhhh ,... "Machine Learning" ,... det var DER Mike kom ind i billedet :lol:

https://topazlabs.com/gigapixel-ai/

Det er jo oplagt ,... god anvendelse ,... og imponerende ,... selv om det kaster en skævert af sig fra tid til anden
/Dub

Medlemsavatar
gs-dk
Forum Donator
Indlæg: 9676
Sted: Frederiksberg

Indlæg af gs-dk »

skræmmende - men jeg kan bedst lide nummer 1:)

Medlemsavatar
amolin
Medlem
Indlæg: 1030

Indlæg af amolin »

gs-dk skrev:skræmmende - men jeg kan bedst lide nummer 1:)
Det kan jeg godt nok også. Alt med detaljer ligner, err..., udflydt plastik på den der er i 4k.
Alle lige linier står skarpere, men ansigterne er meget mere utydelige.
- Anders
Facebook: [url]http://www.facebook.com/amdrl[/url]
Mit studie: [url]http://beatthemic.com[/url]

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Jeg er enig ^^ men fps’en gør det mere livligt syntes jeg.

Medlemsavatar
Holger
Audio Alchemist
Indlæg: 37672
Sted: Fyn

Indlæg af Holger »

Men hvorfor hakker den nye version stadig? Burde algoritmen ikke netop kunne interpolere de manglende frames?

Flere steder hopper den nye version adskillige frames over.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Holger skrev:Men hvorfor hakker den nye version stadig? Burde algoritmen ikke netop kunne interpolere de manglende frames?

Flere steder hopper den nye version adskillige frames over.
Godt spørgsmål.

Det KAN være at metoden ikke er mere sofistikeret end at det er en fast vindues-længde (antal frames man predikerer) man har valgt, og når så mangler fra den originale video er af varierende størrelse (og længere end vindues-længden), så sker det der :lol:

Jeg ved fra andre sekventielle modeller at dette et reelt problem man ofte er nødt til at finde en "hacky" løsning på. Ofte fordi man (1) ikke har data nok til at kunne øge vindueslængden, og (2) jo længere vindues længden bliver, jo dårligere bliver resultatet. To sider af samme sag.

Medlemsavatar
Holger
Audio Alchemist
Indlæg: 37672
Sted: Fyn

Indlæg af Holger »

Jeg havde nok bare morphet fra og til via en række manuelle nøglepunkter.

Det må være et job for en fremtidig algo at selv lave den slags intelligent. Det kræver alligevel en del at regne ud fejlfrit, men alene en analyse af statiske kontra dynamiske elementer burde kunne klare meget.

Altså en slags intelligent morphing pr. detekteret objekt.

Garanteret allerede opfundet og i brug.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Fandt sku lige et paper;
http://tedxiao.me/pdf/CS294_Report.pdf

Det ser rigtigt nok ud til de bruger et sliding window af størrelse n, og det understøtter vel så lidt min teori ovenfor. Er vinduet n for lille, og det oprindelige hul for stort, kommer der et "hop" i videoen.

En hurtig løsning kunne være at 1) detektere irregulære huller i den oprindelige film (jeg gætter på det er hastigheden på filmrullen der er noget galt med? man fjerner vel ikke bare et par frames fra en fysisk filmrulle?) 2) tilføje nye huller, med den samme, maksimale vindueslængde, så der er et mønster og modellen derfor får til opgave at udfylde større huller. Problemet er vel nu, at modellen ikke er klar over der er et ekstra langt hul?

Kvaliteten bliver ikke nødvendigvis bedre, men flowet vil nok blive bedre.

Mht. Det du foreslår er jeg ikke skarp nok i computer vision til at jeg kan sige om det sker/ikke sker i forvejen. Stortset alle elementer i et billede bliver filtreret og op/ned samplet i en lang kæde af processer. Det er helt sikkert muligt at gøre det du beskriver, men for at den skal gøre det intelligent, skal den først vises hvordan det gøres (enten via eksempler, eller via en snedig matematisk problemformulering).

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Holger skrev:Jeg havde nok bare morphet fra og til via en række manuelle nøglepunkter.

Det må være et job for en fremtidig algo at selv lave den slags intelligent. Det kræver alligevel en del at regne ud fejlfrit, men alene en analyse af statiske kontra dynamiske elementer burde kunne klare meget.

Altså en slags intelligent morphing pr. detekteret objekt.

Garanteret allerede opfundet og i brug.
Check denne video:



De har åbenbart grejet at løse problemet.
http://iizuka.cs.tsukuba.ac.jp/projects ... index.html

Nu har jeg taget et kig på det fulde paper (link), og de har valgt at bruge en smart metode der hedder "attention" som gør at de kan lave rigtig lange sekvenser uden at få problemer med hop etc. (basically det problem jeg beskrev om at det krævede meget data). Deres paper handler desværre bare mest om farvelægning, og svarer ikke direkte på det vi var interesserede i. Men jeg tror det er attention som er årsagen (fordi de kan have rigtig lange vinduer).

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Det kan godt være, det er blevet 4K og 60 fps, men jeg synes godt nok, det er gået ud over gråtonerne. Der er langt mere dybde og flere toner i det grå i originalen. Jeg synes, originalen ser klart bedst ud.
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
AvS
Medlem
Indlæg: 4372
Sted: Valby

Indlæg af AvS »

Her er en ny video fra Two Minutes Papers om en teknik til at skabe højere framerate:



Det er meget imponerende. Hvis man har travlt kan man hoppe til 2:25 for at se nogle resultater, men det er nu ret interessant at høre om hvor avanceret metoden er.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Sygt fascinerende! og utrolig avanceret CV :-D

Medlemsavatar
AvS
Medlem
Indlæg: 4372
Sted: Valby

Indlæg af AvS »

Ny video, fra Two Minute Papers, med en ny algoritme til opskalering:


Vildt imponerende!

Medlemsavatar
DUBTEMPLE
Forum Donator
Indlæg: 8689
Sted: DK/SE

Indlæg af DUBTEMPLE »

AvS skrev: tors 27. aug 2020 12:47 Ny video, fra Two Minute Papers, med en ny algoritme til opskalering:


Vildt imponerende!
Ja, umiddelbart imponerende, spørgsmålet er om det er umiddelbart tilgængeligt, og let at bruge i praksis, altså "færdigt", til brug

Lavede en google, de første 4-5 hits var af den type der gjorde mig træt :lol:
/Dub

Medlemsavatar
AvS
Medlem
Indlæg: 4372
Sted: Valby

Indlæg af AvS »

Godt spørgsmål. Jeg har hele tiden forestillet mig at man bare giver algoritmen en video, og så guffer den afsted, men det er måske meget langt fra virkeligheden.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

https://github.com/thunil/TecoGAN

Kræver en Nvidia GPU med CUDA, en anaconda python installering (hvis man kører windows), og ellers en ren linux installering. Og så skal sekvensen (scene) man vil processere splittes op i frames som individuelle PNG filer i en eller anden (lille) størrelse jeg ikke lige kan finde.

Nok bare et spørgsmål om et par måneder før det er implementeret i et lidt mere brugervenligt format.

Medlemsavatar
DUBTEMPLE
Forum Donator
Indlæg: 8689
Sted: DK/SE

Indlæg af DUBTEMPLE »

Mike-air skrev: lør 29. aug 2020 13:11 https://github.com/thunil/TecoGAN

Kræver en Nvidia GPU med CUDA, en anaconda python installering (hvis man kører windows), og ellers en ren linux installering. Og så skal sekvensen (scene) man vil processere splittes op i frames som individuelle PNG filer i en eller anden (lille) størrelse jeg ikke lige kan finde.

Nok bare et spørgsmål om et par måneder før det er implementeret i et lidt mere brugervenligt format.
Tak Mike, tænkte nok det var noget i den stil,.. slet ikke klart,.. jeg kaster ikke min sidste dyrebare tid ned i et hul :lol:

Tænker dog jeg får en del halvdårlig film fra action--cams og lignende fremadrettet ,.. så helt sikkert interessant hvis det bliver brugbart

Evt bare på en dedikeret linux-maskine med f.eks. et gammelt GTX1060 eller noget, men processen skal passe sig selv, og være ubøvlet

Reelt vel en form for "sharpening" hvis jeg opscallerer HD fra mit Sony AZ1 til 4K ,...

Kan også åbne op for at køre mere i 60fps som de fleste kameraer kan i alm HD,.. hvis der succesfuldt kan opscalleres efterfølgende
/Dub

Nyt svar