4k 60fps opskalering af video fra 1896
4k 60fps opskalering af video fra 1896
Original:
4k 60fps:
Farvelagt:
Viiildt cool IMHO.
Bliver interessant at se i hvilken grad dette lader sig gøre på lyd.
4k 60fps:
Farvelagt:
Viiildt cool IMHO.
Bliver interessant at se i hvilken grad dette lader sig gøre på lyd.
Den klarer specielt alle de lige linier rigtigt flot!
Jeg laver også gratis plugins: www.robotplanet.dk/audio_plugins
Ahhhh ,... "Machine Learning" ,... det var DER Mike kom ind i billedet
https://topazlabs.com/gigapixel-ai/
Det er jo oplagt ,... god anvendelse ,... og imponerende ,... selv om det kaster en skævert af sig fra tid til anden
https://topazlabs.com/gigapixel-ai/
Det er jo oplagt ,... god anvendelse ,... og imponerende ,... selv om det kaster en skævert af sig fra tid til anden
/Dub
Det kan jeg godt nok også. Alt med detaljer ligner, err..., udflydt plastik på den der er i 4k.gs-dk skrev:skræmmende - men jeg kan bedst lide nummer 1:)
Alle lige linier står skarpere, men ansigterne er meget mere utydelige.
- Anders
Facebook: [url]http://www.facebook.com/amdrl[/url]
Mit studie: [url]http://beatthemic.com[/url]
Facebook: [url]http://www.facebook.com/amdrl[/url]
Mit studie: [url]http://beatthemic.com[/url]
Men hvorfor hakker den nye version stadig? Burde algoritmen ikke netop kunne interpolere de manglende frames?
Flere steder hopper den nye version adskillige frames over.
Flere steder hopper den nye version adskillige frames over.
Godt spørgsmål.Holger skrev:Men hvorfor hakker den nye version stadig? Burde algoritmen ikke netop kunne interpolere de manglende frames?
Flere steder hopper den nye version adskillige frames over.
Det KAN være at metoden ikke er mere sofistikeret end at det er en fast vindues-længde (antal frames man predikerer) man har valgt, og når så mangler fra den originale video er af varierende størrelse (og længere end vindues-længden), så sker det der
Jeg ved fra andre sekventielle modeller at dette et reelt problem man ofte er nødt til at finde en "hacky" løsning på. Ofte fordi man (1) ikke har data nok til at kunne øge vindueslængden, og (2) jo længere vindues længden bliver, jo dårligere bliver resultatet. To sider af samme sag.
Jeg havde nok bare morphet fra og til via en række manuelle nøglepunkter.
Det må være et job for en fremtidig algo at selv lave den slags intelligent. Det kræver alligevel en del at regne ud fejlfrit, men alene en analyse af statiske kontra dynamiske elementer burde kunne klare meget.
Altså en slags intelligent morphing pr. detekteret objekt.
Garanteret allerede opfundet og i brug.
Det må være et job for en fremtidig algo at selv lave den slags intelligent. Det kræver alligevel en del at regne ud fejlfrit, men alene en analyse af statiske kontra dynamiske elementer burde kunne klare meget.
Altså en slags intelligent morphing pr. detekteret objekt.
Garanteret allerede opfundet og i brug.
Fandt sku lige et paper;
http://tedxiao.me/pdf/CS294_Report.pdf
Det ser rigtigt nok ud til de bruger et sliding window af størrelse n, og det understøtter vel så lidt min teori ovenfor. Er vinduet n for lille, og det oprindelige hul for stort, kommer der et "hop" i videoen.
En hurtig løsning kunne være at 1) detektere irregulære huller i den oprindelige film (jeg gætter på det er hastigheden på filmrullen der er noget galt med? man fjerner vel ikke bare et par frames fra en fysisk filmrulle?) 2) tilføje nye huller, med den samme, maksimale vindueslængde, så der er et mønster og modellen derfor får til opgave at udfylde større huller. Problemet er vel nu, at modellen ikke er klar over der er et ekstra langt hul?
Kvaliteten bliver ikke nødvendigvis bedre, men flowet vil nok blive bedre.
Mht. Det du foreslår er jeg ikke skarp nok i computer vision til at jeg kan sige om det sker/ikke sker i forvejen. Stortset alle elementer i et billede bliver filtreret og op/ned samplet i en lang kæde af processer. Det er helt sikkert muligt at gøre det du beskriver, men for at den skal gøre det intelligent, skal den først vises hvordan det gøres (enten via eksempler, eller via en snedig matematisk problemformulering).
http://tedxiao.me/pdf/CS294_Report.pdf
Det ser rigtigt nok ud til de bruger et sliding window af størrelse n, og det understøtter vel så lidt min teori ovenfor. Er vinduet n for lille, og det oprindelige hul for stort, kommer der et "hop" i videoen.
En hurtig løsning kunne være at 1) detektere irregulære huller i den oprindelige film (jeg gætter på det er hastigheden på filmrullen der er noget galt med? man fjerner vel ikke bare et par frames fra en fysisk filmrulle?) 2) tilføje nye huller, med den samme, maksimale vindueslængde, så der er et mønster og modellen derfor får til opgave at udfylde større huller. Problemet er vel nu, at modellen ikke er klar over der er et ekstra langt hul?
Kvaliteten bliver ikke nødvendigvis bedre, men flowet vil nok blive bedre.
Mht. Det du foreslår er jeg ikke skarp nok i computer vision til at jeg kan sige om det sker/ikke sker i forvejen. Stortset alle elementer i et billede bliver filtreret og op/ned samplet i en lang kæde af processer. Det er helt sikkert muligt at gøre det du beskriver, men for at den skal gøre det intelligent, skal den først vises hvordan det gøres (enten via eksempler, eller via en snedig matematisk problemformulering).
Check denne video:Holger skrev:Jeg havde nok bare morphet fra og til via en række manuelle nøglepunkter.
Det må være et job for en fremtidig algo at selv lave den slags intelligent. Det kræver alligevel en del at regne ud fejlfrit, men alene en analyse af statiske kontra dynamiske elementer burde kunne klare meget.
Altså en slags intelligent morphing pr. detekteret objekt.
Garanteret allerede opfundet og i brug.
De har åbenbart grejet at løse problemet.
http://iizuka.cs.tsukuba.ac.jp/projects ... index.html
Nu har jeg taget et kig på det fulde paper (link), og de har valgt at bruge en smart metode der hedder "attention" som gør at de kan lave rigtig lange sekvenser uden at få problemer med hop etc. (basically det problem jeg beskrev om at det krævede meget data). Deres paper handler desværre bare mest om farvelægning, og svarer ikke direkte på det vi var interesserede i. Men jeg tror det er attention som er årsagen (fordi de kan have rigtig lange vinduer).
Det kan godt være, det er blevet 4K og 60 fps, men jeg synes godt nok, det er gået ud over gråtonerne. Der er langt mere dybde og flere toner i det grå i originalen. Jeg synes, originalen ser klart bedst ud.
Her er en ny video fra Two Minutes Papers om en teknik til at skabe højere framerate:
Det er meget imponerende. Hvis man har travlt kan man hoppe til 2:25 for at se nogle resultater, men det er nu ret interessant at høre om hvor avanceret metoden er.
Det er meget imponerende. Hvis man har travlt kan man hoppe til 2:25 for at se nogle resultater, men det er nu ret interessant at høre om hvor avanceret metoden er.
Ny video, fra Two Minute Papers, med en ny algoritme til opskalering:
Vildt imponerende!
Vildt imponerende!
Ja, umiddelbart imponerende, spørgsmålet er om det er umiddelbart tilgængeligt, og let at bruge i praksis, altså "færdigt", til brug
Lavede en google, de første 4-5 hits var af den type der gjorde mig træt
/Dub
Godt spørgsmål. Jeg har hele tiden forestillet mig at man bare giver algoritmen en video, og så guffer den afsted, men det er måske meget langt fra virkeligheden.
https://github.com/thunil/TecoGAN
Kræver en Nvidia GPU med CUDA, en anaconda python installering (hvis man kører windows), og ellers en ren linux installering. Og så skal sekvensen (scene) man vil processere splittes op i frames som individuelle PNG filer i en eller anden (lille) størrelse jeg ikke lige kan finde.
Nok bare et spørgsmål om et par måneder før det er implementeret i et lidt mere brugervenligt format.
Kræver en Nvidia GPU med CUDA, en anaconda python installering (hvis man kører windows), og ellers en ren linux installering. Og så skal sekvensen (scene) man vil processere splittes op i frames som individuelle PNG filer i en eller anden (lille) størrelse jeg ikke lige kan finde.
Nok bare et spørgsmål om et par måneder før det er implementeret i et lidt mere brugervenligt format.
Tak Mike, tænkte nok det var noget i den stil,.. slet ikke klart,.. jeg kaster ikke min sidste dyrebare tid ned i et hulMike-air skrev: ↑lør 29. aug 2020 13:11 https://github.com/thunil/TecoGAN
Kræver en Nvidia GPU med CUDA, en anaconda python installering (hvis man kører windows), og ellers en ren linux installering. Og så skal sekvensen (scene) man vil processere splittes op i frames som individuelle PNG filer i en eller anden (lille) størrelse jeg ikke lige kan finde.
Nok bare et spørgsmål om et par måneder før det er implementeret i et lidt mere brugervenligt format.
Tænker dog jeg får en del halvdårlig film fra action--cams og lignende fremadrettet ,.. så helt sikkert interessant hvis det bliver brugbart
Evt bare på en dedikeret linux-maskine med f.eks. et gammelt GTX1060 eller noget, men processen skal passe sig selv, og være ubøvlet
Reelt vel en form for "sharpening" hvis jeg opscallerer HD fra mit Sony AZ1 til 4K ,...
Kan også åbne op for at køre mere i 60fps som de fleste kameraer kan i alm HD,.. hvis der succesfuldt kan opscalleres efterfølgende
/Dub