Introductie Stable Diffusion: AI voor fotografen

Enkele maanden geleden volgde ik een tweedaagse workshop AI die georganiseerd werd door de beroepsfotografen. Ik wist helemaal niets van AI af en had geen idee wat ik ervan moest verwachten. Dag één was helemaal gewijd aan Midjourney en dag twee aan Stable Diffusion. Zo konden we van deze twee grote spelers proeven en zien welk systeem wat kan. Ik was volledig overdonderd door de mogelijkheden. Midjourney genereert met louter tekst hele mooie beelden. Ik stond ervan versteld. Maar ik vond het heel frustrerend om willekeurige beelden te genereren en maar te hopen dat er iets tussen zit dat je zo ongeveer voor ogen had. Als fotograaf wil je net dat ene beeld hebben. Als ik fotografeer ga ik ook niet zonder kijken beelden maken en hopen dat er iets tussen zit dat me aanstaat. Die controle heb je dan wel met Stable Diffusion. Voor mij was de keuze snel gemaakt.

txt2img

Met alleen maar tekst kan je een beeld genereren. Dat op zich vind ik nog steeds verbazingwekkend. Je beschrijft in een prompt wat je wilt hebben en AI maakt dat voor je. Natuurlijk kan je niet elk detail van een foto beschrijven, zodat het moeilijk is om te krijgen wat je echt wilt. Dat alleen is als fotograaf niet zo interessant.

Beelden maken met louter tekst geeft je misschien niet meteen de beelden die je wilt, maar het kan je wel op ideeën brengen. Je krijgt beelden waar je zelf niet meteen aan zou denken om die zo te fotograferen. Je kan dat gebruiken als een grote bron van inspiratie.

Dit zijn twee foto’s gegenereerd met dezelfde prompt. Ze zijn niet perfect en ik zou ze niet meteen gebruiken ter vervanging van de foodfoto’s die ik maak. Maar ze geven me wel de nodige inspiratie. Zonder AI deed ik dat door het internet af te schuimen, maar met een zeer gerichte prompt kan ik nu veel sneller werken. Ik kan bij elke foto die ik krijg ze als referentiefoto gebruiken voor een volgend beeld waarbij ik de prompt gericht kan aanpassen om steeds dichter naar het beeld toe te werken.

Img2img

Je mag nog zo goed zijn als je wilt in het schrijven van een goede prompt om je afbeelding te creëren, je kan nooit elk detail ervan beschrijven, zodat tekst alleen tekortschiet om te krijgen wat je voor ogen hebt. Voor vele toepassingen volstaat dat natuurlijk wel. Zo zie je heel veel beelden uit een fantasiewereld. De beelden zijn soms wonderlijker dan je ze zelf zou kunnen verzinnen. Maar als je zoals een fotograaf met een fototoestel probeert een beeld te maken zoals jij het wil, dan lukt dat niet. Hier komt img2img in beeld. Je kan AI een referentiefoto geven om te tonen wat je wilt. In combinatie met tekst krijg je al meer controle dan met tekst alleen.  De nodige parameters bepalen hoeveel of hoe weinig het nieuwe beeld mag afwijken van het oorspronkelijke. Daar kan je mee spelen tot je het resultaat krijgt dat je wilt.

Je referentiefoto kan een AI beeld zijn of een echte foto. Hier heb ik een foto gebruikt uit mijn eigen archief. Bij elke foto is dezelfde prompt gebruikt, maar kreeg AI steeds meer vrijheid om af te wijken van het origineel.

Deze toepassing vond ik al heel erg interessant, maar dit is nog maar het begin van een veel groter verhaal. In img2img heb je nog de mogelijkheid om delen van je onderwerp te maskeren, zodat je controle hebt over wat in je beeld mag veranderen en wat niet.

Hier wil ik aan het portret niets veranderen, maar alleen de graffitimuur wat kleurrijker hebben. Dat kan in img2img door te werken met een masker.

Zo kan je  ook bestaande elementen vervangen door andere. Of je voegt toe wat niet bestaat.

Ik ben niet vertrouwd met andere systemen van AI zoals de mogelijkheden die al bestaan in Photoshop. Maar toen ik zo fier als een gieter mijn eerste voorbeelden postte op Facebook, dan kreeg ik steeds de vraag wat eigenlijk het voordeel was tegenover Photoshop. Ik moest duidelijk meer uit de kast zien te halen.

De eerste uitdaging die ik mezelf oplegde was om een packshot foto om te toveren in een lifestyle foto. Ik kreeg deze foto van Tineke Van Der Eecken. Zij maakt juwelen die geïnspireerd zijn op natuurelementen uit Australië waar ze woont en werkt. Dit juweel is gebaseerd op zeewier en andere elementen die te vinden zijn aan de Australische kust.

Het product is te fijn om met een  masker rechtstreeks in img2img te werken. In img2img heb je de mogelijkheid om samen met het product een masker op te laden. Dat maak je dan in Photoshop waar je heel precies kan werken. Op die manier kan je AI een achtergrond laten maken zonder het product te veranderen. Zie eens hoe waarheidsgetrouw het juweel in de branding ligt. 

Wil je nog een stapje verder gaan in de controle over je beeld, dan kan je dat door zelf een foto te kiezen die je min of meer als achtergrond wilt hebben. Je maakt een slordige montage in Photoshop. Vervolgens breng je dat beeld binnen in Stable Diffusion en zo krijgt AI minder vrijheid in het maken van het uiteindelijke beeld. Hoeveel of hoe weinig het mag afwijken kan je weer zelf bepalen door met de parameters te gaan spelen. Op die manier kan je heel gericht gaan werken. Het voordeel is dat je niet zelf in Photoshop een schaduw en reflecties moet gaan toevoegen. Het moeilijkste in de montage doet AI voor jou. Het voelt als een kladwerk maken van wat je wilt en dat doorsturen naar iemand die meer bedreven is in beeldbewerking dan jezelf of waar je niet de tijd voor hebt.

Inpaint anything voor geavanceerde object manipulatie

Inpaint anything is een extra tool die nog meer mogelijkheden geeft om complexe aanpassingen door te voeren. Het identificeert de afzonderlijke objecten in je afbeelding en maakt er een kleurenmap van. Die kleurvlakken kan je dan eenvoudigweg selecteren door ze gewoon aan te klikken. Je moet ze niet meer zelf met een penseel gaan overschilderen. Is het masker niet helemaal naar wens, dan kan je dat nog steeds manueel bijwerken.

Nu kan je het geselecteerde element dmv een prompt veranderen in iets anders. In deze foto geven we de jongen een nieuw drankje en een andere outfit. Let erop hoe de kleur van de nieuwe jas mooi door het glas heen komt.

ControlNet

ControlNet is een tool die je toelaat om nog meer controle te krijgen over je beeld dan met img2img. Het heeft heel veel verschillende modellen die elk op zich op een andere manier de input controleren om een output te krijgen die je zelf wilt. Ik ga ze niet allemaal bespreken, alleen degene die ik het meest gebruik in mijn werk.

OpenPose

OpenPose laat je toe om de houding van een persoon te kopiëren naar een nieuwe afbeelding. De gratis stockfoto websites zoals Pexels kunnen hierbij een grote hulp zijn. Tik het zoekwoord ‘pose’ in en kies een foto uit met een pose die je wilt overnemen op je eigen foto. Je kan ook vertrekken van je eigen foto’s, van tekeningen of van gelijk welk ander bronmateriaal.

Openpose neemt de Silly Walk pose van deze tekening over. Die kan je vervolgens gebruiken op je eigen beelden.

Wil je nog meer controle, dan kan je zelf een pose maken. Op https://app.posemy.art/ kan je een model kiezen en die gelijk welke pose laten aannemen die jij wilt. Je kiest zelf ook het camerastandpunt dat je wilt hebben. En vervolgens kan je je resultaat exporteren als een openpose sketet dat je meteen in Stable Diffusion kan binnenhalen.

Scribble

Scribble laat je toe om van een schets of een tekening een foto te maken. De inhoud zet je naar je hand door in de prompt zoveel mogelijk details te geven van hoe je de foto wilt. Je kiest niet alleen de kleur van de hond, maar ook de omgeving en het soort licht dat je in de foto wilt. Van eenzelfde tekening maak je een foto als buitenopname met zacht licht, maar evengoed een mooi uitgebalanceerde studiofoto.

Deze tekening vond ik op de gratis stockfoto website Unsplash. Ze is van Chris Curry. Met mijn eerste prompt heb ik er een bruine hond van gemaakt in de tuin op een grijze regendag.

Met mijn tweede prompt maakte ik een mooie zwarte hond in de studio tegen een donkere achtergrond. Je bepaalt hoe je je belichting wilt hebben door je studiolampen zo goed mogelijk te beschrijven. Dat lukt niet altijd even goed, maar het programma wordt met de dag beter. Binnen de kortste tijd is dat net zoals je je lichten in de studio zelf opstelt.

Canny & Soft Edge

Canny maakt een hele gedetailleerde map van je foto zodat je heel erg gecontroleerd je foto kan gebruiken om een nieuw beeld heel precies te sturen. 

Soft Edge maakt een wat minder gedetailleerde blauwdruk zodat je AI meer ruimte geeft om af te wijken van het basisbeeld. 

Dan heb je nog modellen die enkel de rechte lijnen van de referentiefoto overnemen. Die zijn dan weer zeer geschikt voor architectuurfotografie. Door alleen de rechte lijnen over te nemen kan je voldoende ruimte geven aan AI om gelijk welke materialen te gebruiken bij de invulling. Met deze controlepanelen kan zoveel bijsturen dat je een maximale controle krijgt bij het genereren van je beelden. Als fotograaf is dit heel erg bruikbaar.

Het kleurpalet van een afbeelding overnemen

Gebruik een afbeelding als referentie voor de kleuren die je wilt hebben in je nieuwe afbeelding. AI zet de eerste afbeelding om in een kleurenkaart en gebruikt enkel de kleuren bij het maken van je eigen afbeelding. Op die manier kan je gemakkelijk een reeks foto’s maken die bij elkaar passen.

Dit zijn maar enkele voorbeelden van de vele mogelijkheden die ControlNet te bieden heeft. Het is wat zoeken om er de juiste resultaten uit te krijgen, maar eens je het wat onder de knie hebt, geeft het je zoveel controle over de beelden die je met AI maakt. En alsof dat nog niet genoeg is, kan je ook nog eens meerdere methodes van ControlNet combineren. Zo kan je bijvoorbeeld kiezen om de pose van het ene beeld, en de kleur van een ander over te nemen. Of je neemt de vorm van het ene beeld en de stijl van een ander over. Het vergt wat geduld en heel veel oefening om al die parameters samen onder de knie te krijgen, maar de mogelijkheden zijn hiermee werkelijk ongelooflijk uitgebreid.

Conclusie

Tijdens de workshop waren we met een groep fotografen die allemaal al een tijd meedraaien en ondertussen elk hun eigen stijl hebben. Het was heel opmerkelijk om te zien hoe iedereen totaal andere beelden met dezelfde tool genereert. Na de workshop hebben we een besloten groep opgericht waarin we elkaars werk kunnen bewonderen en elkaar verder kunnen helpen. Het is heel opmerkelijk om te zien dat iedere fotograaf met de AI gegenereerde beelden dicht bij zijn eigen werk blijft. Zo zie je maar dat ook deze tool niet anders is dan een geweldig werktuig en geen wondermiddel dat van iedereen fotograaf maakt, zoals sommigen vrezen. De beelden komen niet vanzelf uit AI, maar uit het hoofd van de bedenker. Dat is met een camera niet anders.