Neural style transfer

Off topic - alt som ikke handler om musik eller studie.
Forumregler
Alt om musik, musikvideoer, kunstnere, udstyr og musikteori skal postes i de andre respektive fora.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Neural style transfer

Indlæg Skrevet: 24. feb 2018, 17:59

Ville lige dele nogle seje billeder jeg har kreeret via en teknik der hedder "neural style transfer". Det går i alt sin enkelthed ud på, at man ændre matematikken i et neuralt netværk, således at "stilen" fra et billede, masseres ind på et andet billede.

Til de tekniske:
Til processen skal man bruge 1 Content billede (A) og et style-billede (B).
Modellen er et convolutional neural network med 16 lag, hvor vægtene i forvejen er trænet på et kæmpe datasæt med en masse billeder. Modellen er herefter modificeret til at et "style" lag (G) inkluderes i modellen. Style-laget er samvariationen imellem pixels i den proces (G) som kører hen over billede (B). Det nye billede som har stilen fra B, og indholdet fra A, bliver så generet ud fra at: minimere afstanden fra det nye billede (C) til billede (A) samt style-funktionen indlært fra billede (B). Med en GPU tager det cirka 5 minutter at køre 500 iterationer igennem.

EDIT: NU MED LYDMASKINEN CREW

Content billede
Bygning_content.jpg
Bygning_content.jpg (198.91 KiB) Vist 295 gange



Style billede
Monika_style.JPG
Monika_style.JPG (205.29 KiB) Vist 295 gange


Resultat:
generated_image_1.jpg
generated_image_1.jpg (120.65 KiB) Vist 295 gange

Her ser man hvordan algoritmen har indlært forskellige typer af mønstre som er på tegningen, og projeceret det over på foto'et af bygningen. Hvis man ser på træet, så ligner det lidt at der er et klokketårn i det øvre højre hjørne. Rimelig spacy.

============================================

Jeg prøvede også at lave en GIF som tager hver 10. iteration i optimeringsprocessen, og det ser rimeligt spacy ud. Desværre fylde sådan en GIF omkring 50 mb, så den skal hentes her:
https://drive.google.com/file/d/1GOtAAj ... sp=sharing

============================================

Teknikken her har holdt mig beskæftiget i cirka 2 uger, men mit næste projekt er at kreere MIDI med LSTM (long short term memory) neural networks. Der er nogle, som har haft sucess med jazz, så det vil jeg da også lige forsøge mig med. Poster her, når det er done.
Senest rettet af Mike-air 24. feb 2018, 19:32, rettet i alt 2 gange.
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 18:04

Her er nogle flere:

Style: udklip fra et monet maleri
Monet_style1.jpg
Monet_style1.jpg (141.46 KiB) Vist 294 gange


Resultat:
generated_image_3.jpg
generated_image_3.jpg (90.25 KiB) Vist 294 gange


Style: et billede fra en bog om universet
New3_style.jpg
New3_style.jpg (122.18 KiB) Vist 294 gange


Resultat:
generated_image.jpg
generated_image.jpg (61.04 KiB) Vist 294 gange
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
SustainerPlayer
Forum Superstar
Forum Superstar
Indlæg: 8259
Sted: Brøndby

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 18:58

Rimligt knaldet. Glæder mig til at høre, hvad det gør ved lyd/musik.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:29

Hæhæ. Forsøgte mig lige med det billede jeg tog til lydmaskinens grillparty i 2016:

Content:
content_lyma1050x525.jpg
content_lyma1050x525.jpg (182.67 KiB) Vist 280 gange



Style:
simpsons_style.jpg
simpsons_style.jpg (198.93 KiB) Vist 280 gange



Resultat:
generated_image.jpg
generated_image.jpg (124.3 KiB) Vist 280 gange
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 26490
Sted: Hørsholm

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:32

Hvad sker der for at holyfields øre er endt på min kind, halvt inde i munden?

Og David og Morten har fået Robocop briller på.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:41

Haha. Ja det er sku lidt stenet. Men er overrasket over hudfarverne er "rigtige". Kunne godt forestille mig at et portrætbillede kunne få en fed effekt på denne måde.

Her er en animation af beregningerne:
https://drive.google.com/file/d/1rUI2pCu94uuy_JnsUIXrSulvJ9Tm7mTt/view?usp=sharing

Billedet blev kørt igennem 600 iterationer. Vil forsøge med det dobbelte for at se om det gør noget gavn.
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 26490
Sted: Hørsholm

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:45

sender lige en pm med nogle links du kan prøve
Brugeravatar
Joachip
Forum Superstar
Forum Superstar
Indlæg: 1327
Sted: Vesterbro

Jeg vil også prøve

Indlæg Skrevet: 24. feb 2018, 22:30

Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 25. feb 2018, 01:16

Lol, nice! Tensorflow og VGG?
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 26. feb 2018, 17:15

Christoffer I. N. skrev:sender lige en pm med nogle links du kan prøve

Fandt lige ud af at der var nogle der havde lavet et site hvor man kan gøre det uden at kode:
https://deepart.io/hire/

Jeg er pt. ved at modificere min kode så jeg kan trawle en video-sekvens igennem. Spændt på resultatet.
Nu er den her! Absolute midi '97: Download din kopi gratis her!
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7206
Sted: Oslo

Re: Neural style transfer

Indlæg Skrevet: 27. feb 2018, 00:01

NeuralStyle_M_vid5.gif
NeuralStyle_M_vid5.gif (4.23 MiB) Vist 201 gange


12 Frames kun dog.. Tog cirka 30 minutter med et GTX1050 Ti
Nu er den her! Absolute midi '97: Download din kopi gratis her!

Tilbage til "After Party"

Hvem er online

Brugere der læser dette forum: Ingen og 2 gæster