Neural style transfer

Off topic - alt som ikke handler om musik eller studie.
Forumregler
Alt om musik, musikvideoer, kunstnere, udstyr og musikteori skal postes i de andre respektive fora.
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Neural style transfer

Indlæg Skrevet: 24. feb 2018, 17:59

Ville lige dele nogle seje billeder jeg har kreeret via en teknik der hedder "neural style transfer". Det går i alt sin enkelthed ud på, at man ændre matematikken i et neuralt netværk, således at "stilen" fra et billede, masseres ind på et andet billede.

Til de tekniske:
Til processen skal man bruge 1 Content billede (A) og et style-billede (B).
Modellen er et convolutional neural network med 16 lag, hvor vægtene i forvejen er trænet på et kæmpe datasæt med en masse billeder. Modellen er herefter modificeret til at et "style" lag (G) inkluderes i modellen. Style-laget er samvariationen imellem pixels i den proces (G) som kører hen over billede (B). Det nye billede som har stilen fra B, og indholdet fra A, bliver så generet ud fra at: minimere afstanden fra det nye billede (C) til billede (A) samt style-funktionen indlært fra billede (B). Med en GPU tager det cirka 5 minutter at køre 500 iterationer igennem.

EDIT: NU MED LYDMASKINEN CREW

Content billede
Bygning_content.jpg



Style billede
Monika_style.JPG


Resultat:
generated_image_1.jpg

Her ser man hvordan algoritmen har indlært forskellige typer af mønstre som er på tegningen, og projeceret det over på foto'et af bygningen. Hvis man ser på træet, så ligner det lidt at der er et klokketårn i det øvre højre hjørne. Rimelig spacy.

============================================

Jeg prøvede også at lave en GIF som tager hver 10. iteration i optimeringsprocessen, og det ser rimeligt spacy ud. Desværre fylde sådan en GIF omkring 50 mb, så den skal hentes her:
https://drive.google.com/file/d/1GOtAAj ... sp=sharing

============================================

Teknikken her har holdt mig beskæftiget i cirka 2 uger, men mit næste projekt er at kreere MIDI med LSTM (long short term memory) neural networks. Der er nogle, som har haft sucess med jazz, så det vil jeg da også lige forsøge mig med. Poster her, når det er done.
Senest rettet af Mike-air 24. feb 2018, 19:32, rettet i alt 2 gange.
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 18:04

Her er nogle flere:

Style: udklip fra et monet maleri
Monet_style1.jpg


Resultat:
generated_image_3.jpg


Style: et billede fra en bog om universet
New3_style.jpg


Resultat:
generated_image.jpg
Brugeravatar
SustainerPlayer
Forum Superstar
Forum Superstar
Indlæg: 9006
Sted: Brøndby

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 18:58

Rimligt knaldet. Glæder mig til at høre, hvad det gør ved lyd/musik.
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:29

Hæhæ. Forsøgte mig lige med det billede jeg tog til lydmaskinens grillparty i 2016:

Content:
content_lyma1050x525.jpg



Style:
simpsons_style.jpg



Resultat:
generated_image.jpg
Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 27169
Sted: Hørsholm

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:32

Hvad sker der for at holyfields øre er endt på min kind, halvt inde i munden?

Og David og Morten har fået Robocop briller på.
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:41

Haha. Ja det er sku lidt stenet. Men er overrasket over hudfarverne er "rigtige". Kunne godt forestille mig at et portrætbillede kunne få en fed effekt på denne måde.

Her er en animation af beregningerne:
https://drive.google.com/file/d/1rUI2pCu94uuy_JnsUIXrSulvJ9Tm7mTt/view?usp=sharing

Billedet blev kørt igennem 600 iterationer. Vil forsøge med det dobbelte for at se om det gør noget gavn.
Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 27169
Sted: Hørsholm

Re: Neural style transfer

Indlæg Skrevet: 24. feb 2018, 19:45

sender lige en pm med nogle links du kan prøve
Brugeravatar
Joachip
Forum Superstar
Forum Superstar
Indlæg: 1469
Sted: Vesterbro

Jeg vil også prøve

Indlæg Skrevet: 24. feb 2018, 22:30

Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 25. feb 2018, 01:16

Lol, nice! Tensorflow og VGG?
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 26. feb 2018, 17:15

Christoffer I. N. skrev:sender lige en pm med nogle links du kan prøve

Fandt lige ud af at der var nogle der havde lavet et site hvor man kan gøre det uden at kode:
https://deepart.io/hire/

Jeg er pt. ved at modificere min kode så jeg kan trawle en video-sekvens igennem. Spændt på resultatet.
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 7396

Re: Neural style transfer

Indlæg Skrevet: 27. feb 2018, 00:01

NeuralStyle_M_vid5.gif


12 Frames kun dog.. Tog cirka 30 minutter med et GTX1050 Ti

Tilbage til "After Party"

Hvem er online

Brugere der læser dette forum: Ingen og 2 gæster