Kif tuża t-tixrid stabbli biex tagħmel GIFs u vidjows AI

Sommarju: Biex tagħmel animazzjoni billi tuża Stable Diffusion web UI, uża Inpaint biex taħbi dak li trid timxi u mbagħad tiġġenera varjazzjonijiet, imbagħad importahom f'GIF jew video maker. Alternattivament, installa l-estensjoni Deforum biex tiġġenera animazzjonijiet mill-bidu.

Diffużjoni Stabbli kapaċi tiġġenera aktar minn sempliċi immaġini fissi. B'xi għodod integrati u estensjoni speċjali, tista 'tikseb vidjo AI jibred ħafna mingħajr ħafna sforz. Ara kif tiġġenera frames għal GIF animat jew fajl tal-vidjo attwali b'Diffużjoni Stabbli.

Diffużjoni Stabbli Tista 'Tiġġenera Video?

Filwaqt li l-film iġġenerat mill-AI għadu qasam naxxenti, huwa teknikament possibbli li jinħoloq xi animazzjonijiet sempliċi b'Diffużjoni Stabbli, jew bħala GIF jew fajl tal-vidjo attwali. Iżda hemm limitazzjonijiet.

Minħabba li img2img jagħmilha faċli biex tiġġenera varjazzjonijiet ta 'immaġni partikolari, Stable Diffusion jippresta ruħu tajjeb biex jinħadem malajr mazz ta' frejms għal animazzjonijiet, dawk ċikliċi b'mod partikolari. Aħseb fjammi jilgħaq minn nar, roti jduru fuq karozza, jew ilma titjir f'funtana. Użu prattiku jista' jkun li jagħti atmosfera reali għal xi xogħol artistiku RPG:

Tista 'anki tagħmel vidjows ibbażati fuq stampi reali minflok dawk sintetiċi. Hawnhekk ħadt ritratt ta’ pjanta li qed tisqija u, bi ftit klikks, animajt in-nixxiegħa tal-ilma:

Jekk trid tanima oġġett sabiex jiċċaqlaq minn punt A għal punt B, dik hija ordni kbira għal Diffużjoni Stabbli (għall-inqas għalissa). Int x'aktarx li tkun qed tqatta 'ħafna ħin tirranġa l-prompts u s-settings, imbagħad teżamina ħafna riżultati biex issib l-aħjar frejms u tpoġġihom f'ordni korretta. F'dak il-punt, inti tista 'ukoll tkisser l-Adobe Illustrator u sempliċement tibda tanima bl-idejn.

Minkejja dan, tista 'tagħmel xi animazzjonijiet friski u sempliċi b'setup bażiku ta' Diffużjoni Stabbli u għodda oħra tal-għażla tiegħek biex tgħaqqad il-frejms flimkien f'animazzjoni. Hemm ukoll proġett imsejjaħ Deforum li juża Diffużjoni Stabbli biex joħloq animazzjonijiet "morphing" li jidhru pjuttost interessanti. Se beżq vidjo MP4, għalhekk l-ebda għodda esterna ma tkun meħtieġa, u saħansitra tħallik iżżid l-awdjo. Aħna ser nuruk l-baŜi taż-żewġ metodi.

Anima Immaġni billi tuża Inpaint

Bl-użu tal-għodda img2img Inpaint, tista 'tenfasizza l-parti ta' immaġini li trid tanima u tiġġenera diversi varjazzjonijiet tagħha. Imbagħad int titfagħhom ġo GIF jew video maker u ssejvja l-frejms bħala animazzjoni.

Pass 1: Ikseb Immaġni u l-Prompt tagħha

Ibda billi twaqqa' immaġni li trid tanima fit-tab Inpaint tal-għodda img2img. Jekk ma jkollokx waħda ġġenerata diġà, ħu ftit ħin tikteb pront tajjeb sabiex ikollok ritratt tal-bidu tajjeb. Tista 'wkoll timporta immaġni li ħadt ritratt jew ġibt lilek innifsek.

Jekk qed timporta immaġini li ma ġġenerajtx b'Diffużjoni Stabbli, xorta jkollok bżonn pront xieraq biex tiġġenera varjazzjonijiet, għalhekk ikklikkja "Interroga CLIP" fin-naħa ta 'fuq tal-paġna Img2Img. Dak se jiġġenera pront tal-bidu bbażat fuq dak li taħseb id-Diffużjoni Stabbli li fiha l-immaġni tiegħek. Imla l-pront billi żżid kwalunkwe dettalji importanti oħra.

Għall-gwida tagħna, iġġenerajna immaġni 512 × 512 ta 'robot taħt sema bil-lejl li rridu nagħtu tip ta' animazzjoni ta 'time-lapse, bi stilla sparanti u galassji li jgħaddu.

Jekk trid issegwi b'mod preċiż, tista' toħloqha mill-ġdid bil-pront li użajna:

a robot stands in a field looking up at the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd

U dawn huma s-settings li użajna:

Punt ta 'kontroll: Diffużjoni Stabbli 2.0 Metodu ta' kampjunar: DPM++ SDE Passi tat-teħid tal-kampjuni: 20 Skala CFG: 5 Żerriegħa: 4177542269

Pass 2: Maskra l-Partijiet biex Janimaw B'InPaint

Bl-immaġni u l-pront tiegħek f'posthom, fl-għodda Inpaint, uża l-pinzell biex taħbi (tgħatti) kull parti tal-immaġni li trid tanima. Ħalli mikxuf kull ħaġa li trid statika.

Fl-eżempju tagħna, qed inkopru l-biċċa l-kbira tas-sema. Ħallna ftit kuxxin madwar ir-robot għax fl-ittestjar tagħna, jekk naslu qrib wisq, Stable Diffusion ġieli żżid antenni u appendiċi oħra mar-robot.

Pass 3: Iġġenera l-Gwarniċi Tiegħek

Issa li ħsibt kull parti tal-immaġni tiegħek li trid tara tiċċaqlaq, wasal iż-żmien li tiġġenera l-frejms tal-animazzjoni tagħna. Imma l-ewwel, trid tiżgura li img2img ikollu l-issettjar it-tajjeb. Jistgħu jkunu konfużi, għalhekk aħna ser nispjegaw xi jfissru xi wħud minnhom u għaliex tista' jew ma tridx tirranġahom:

Modalità Maskra: Inpaint Masked – Dan jiżgura li dak kollu kopert jinbidel u mhux bil-maqlub. Jekk, għal xi raġuni, trid timmodifika l-parti mhux maskra minflok, ibdelha għal "Inpaint Mhux Masked."
Kontenut Masked: Oriġinali – Dan jiżgura li Diffużjoni Stabbli tara u tqis l-immaġni eżistenti meta tkun qed tiġġenera varjazzjonijiet. Inkella, tikkunsidra l-kontenut mgħotti bħala tila vojta jew randomised.
Żona ta 'Inpaint: Stampa Sħiħa – Dan iġġiegħel Diffużjoni Stabbli biex tiġġenera immaġni ġdida sħiħa għal kull qafas qabel ma tintegraha mal-immaġni oriġinali. Li taqleb għal "Only Masked" tista' tħaffef il-ġenerazzjoni iżda tista' wkoll tagħtik riżultati agħar.
Metodu ta’ kampjunar: DPM++ SDE – Dan huwa l-istess metodu ta’ teħid ta’ kampjuni li użajna biex niġġeneraw l-immaġni oriġinali tagħna, u qed inżommu miegħu biex niżguraw dehra konsistenti. Jekk ma tafx x'għandek tuża, "Euler a" hija għażla tajba għal kollox.
Għadd tal-lott: 60 – Dan huwa kemm immaġni trid tiġġenera. Jista' jkollok bżonn aktar jew inqas skont kemm tkun veloċi u kemm trid tkun twila s-sekwenza tal-animazzjoni tiegħek.
Skala CFG: 5 – L-iskala CFG, f'ċertu sens, tiddetermina kemm għandha libertà kreattiva Stable Diffusion. Iktar ma jkun għoli n-numru, iktar tkun strettament Stabbli Diffusion se tipprova ssegwi l-pront tiegħek. Iżżidha u tikseb riżultati tajbin teħtieġ li jkollok pront tajjeb ħafna.
Qawwa tad-Denoising: 0.3 – Possibbilment l-aktar setting importanti għal dan il-proġett, l-iskala tat-tneħħija tal-ħoss tiddetermina kemm Diffużjoni Stabbli se tbiddel l-immaġni oriġinali. Probabilment trid iżżommha 'l isfel madwar 0.2 jew 0.3, peress li wisq bidla minn frame għal frame tista' tħassar l-animazzjoni.
Żerriegħa: -1 – Dan jgħid lil Stable Diffusion biex tibda b'żerriegħa każwali. Aħna ma nirrakkomandawx li terġa' tuża ż-żerriegħa mill-immaġni oriġinali tiegħek, peress li dan inaqqas l-ammont ta' varjazzjoni li jkollok (jekk hemm).

Bis-settings kollha tiegħek f'posthom, ikklikkja "Iġġenera" u poġġi lura waqt li Stable Diffusion tiġbed il-frejms tal-animazzjoni tiegħek għalik. Issibhom fil-folder /outputs/img2img-images tad-direttorju tad-Diffużjoni Stabbli tiegħek. Jekk ma tħobbx ir-riżultati, tweak is-settings (probabbilment tibda bil-qawwa tat-tneħħija tal-ħoss u l-passi ta 'kampjunar) u erġa' pprova.

Pass 4: Lott Upscale Gwarniċi Tiegħek (Mhux obbligatorju)

Jekk qed tippjana li toħloq vidjo b'definizzjoni għolja, ftakar li ttejjeb il-frejms kollha ġenerati ġodda tiegħek għar-riżoluzzjoni li trid. Ikklikkja "Ibgħat lil Extras" biex tibda.

Ġewwa Extras, aqleb għat-tab "Proċess tal-lott".

Aġġusta l-iskala "Daqs mill-ġdid" għan-numru ta 'drabi li trid qies mill-ġdid (l-issettjar għal 2 se jibdel 512×512 immaġini f'1024×1024 immaġini). Inkella, aqleb minn "Skala minn" għal "Skala għal" u ssettja riżoluzzjoni speċifika. Issettja wkoll "Upscaler 1" għall-upscaler tal-għażla tiegħek. Kellna riżultati tajbin biżżejjed b'R-ESRGAN 4x+, imma tħossok liberu li tesperimenta biex tara liema jimmaniġġja l-aħjar l-immaġini tiegħek.

Imbagħad agħfas "Iġġenera" u Diffużjoni Stabbli jagħtik verżjoni b'riżoluzzjoni ogħla ta 'kull frejm, salvata fil-folder /outputs/extras tiegħek.

Pass 5: Janima l-Gwarniċi f'GIF jew Video Maker

Issa li għandek il-frejms tiegħek, wasal iż-żmien li tgħaqqadhom kollha flimkien u toħloq l-animazzjoni finali tiegħek. Hemm ħafna għodod li tista 'tagħmel dan bihom, inklużi websajts dedikati b'xejn bħal Ezgif u flixier li huma faċli biex jintużaw u għandhom ħafna kontrolli ta' rfinar. Madankollu, ftakar li dawk il-websajts jistgħu jaraw dak kollu li ttella', għalhekk ma tagħtihomx xi ħaġa li m'intix komdu bid-dinja tkun taf dwaru.

Filwaqt li dawk il-websajts huma pjuttost li jispjegaw lilhom infushom, se nkunu qed nuru kif tuża għodda bla ħlas għall-editjar tar-ritratti offline, GIMP, biex tagħmel GIF. Jekk trid fajl tal-vidjo, uża Kdenlive jew editur tal-vidjo simili minflok—sempliċement kun żgur li tweak is-settings sabiex il-frejms kollha tiegħek jiġu importati bħala klipps li huma sekonda jew iqsar, skont ħafna frejms kull sekonda li trid.

Biex tibda, niżżel GIMP u installah fuq il-kompjuter tiegħek jekk ma tkunx diġà. Tnedija, imbagħad mur File > Iftaħ bħala Saffi.

Sib fejn jinsabu l-frejms li ġġenerajt u agħżelhom kollha f'daqqa qabel ma tikklikkja "Open". (Żomm il-buttuna Shift biex tagħżel fajls multipli malajr.) GIMP se jimporta l-immaġini kollha tiegħek bħala saff separat fuq tila waħda. Irridu dan għaliex il-mod kif taħdem il-ġenerazzjoni GIF ta 'GIMP huwa billi tgħaddi minn kull saff minn isfel għal fuq, tittratta kull saff konsekuttiv bħala l-qafas li jmiss fl-animazzjoni.

Issa l-parti divertenti. Biex tara preview tal-GIF tiegħek, mur Filtri > Animazzjoni > Daqq.

Agħfas il-spacebar biex tilgħab u waqqaf il-GIF. Jekk il-frejms jgħaddu malajr jew bil-mod wisq, aġġusta l-FPS fil-qiegħ tad-djalogu tal-plejbek, u kklikkja l-buttuna ta 'aġġornament fin-naħa ta' fuq biex terġa 'tagħbija l-previżjoni bir-rata tal-qafas il-ġdida.

Ladarba l-animazzjoni tidher tajba għalik, wasal iż-żmien li tiġġenera l-fajl GIF. Agħlaq il-previżjoni u kklikkja File > Export As. Meta ttajpja l-isem tal-issejvjar tal-fajl, żid l-estensjoni .gif sa l-aħħar sabiex GIMP ikun jaf li trid GIF.

Fil-kaxxa tad-djalogu tal-esportazzjoni GIF li tidher, kun żgur li l-kaxxa "Kif Animazzjoni" hija ċċekkjata. Aġġusta n-numru ta 'millisekondi bejn il-frejms ukoll jekk trid rata ta' qafas differenti. Hemm 1000 millisekondi f'sekonda, għalhekk 100 se jġibek dritt madwar 10 FPS. Fl-aħħarnett, ikklikkja "Esportazzjoni".

Boom, għandek il-GIF animat sħiħ tiegħek.

Iġġenera Video billi tuża Deforum

Jekk trid trid toħloq animazzjonijiet aktar interessanti b'Diffużjoni Stabbli, u ġġibha toħroġ fajls tal-vidjow minflok biss mazz ta 'frejms għalik biex taħdem magħhom, uża Deforum. Huwa proġett ta 'sinteżi ta' immaġini b'estensjoni disponibbli għal Stable Diffusion web UI li tħallik tidderieġi u tiġġenera fajls tal-vidjo MP4, anke bl-awdjo. Hija għodda b'saħħitha u kumplessa ħafna b'ħafna settings biex tesperimenta magħhom, inklużi pans u zooms tal-kameras, prompts multipli, u importazzjoni tal-vidjo.

Għall-iskopijiet tagħna, aħna ser nintroduċuk biss l-affarijiet bażiċi tal-ġenerazzjoni ta 'animazzjoni pjuttost sempliċi iżda interessanti.

Pass 1: Installa l-Esttensjoni Deforum

Biex tikseb l-estensjoni Deforum, iftaħ kmand prompt u ibdel id-direttorji fil-folder tiegħek stable-diffusion-web-ui. Imbagħad uża dan il-kmand tal-klonu git biex tinstalla Deforum fl-użu tal-folder tal-estensjonijiet tiegħek.

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

Tnedija Stable Diffusion web UI bħas-soltu, u iftaħ it-tab Deforum li issa tinsab fl-interface tiegħek.

Pass 2: Ikteb il-Prompts Tiegħek

Tista' tkun imdorri tikteb prompts individwali bi Stable Diffusion, iżda Deforum iħallik tikteb multipli prompts li huma "skedati", jiġifieri fi kwalunkwe punt fl-animazzjoni li tagħżel, se taqleb għall-ġenerazzjoni ta' frames ibbażati fuq il- fil-pront li jmiss fl-iskeda.

Ikklikkja t-tab "Prompts" u biddel il-prompts eżistenti għal dak kollu li trid, filwaqt li żżomm il-parentesi u l-istruttura tat-tab f'posthom. Għall-eżempju tagħna, aħna ser nużaw dan is-sett ta’ prompts:

{
    "0": "a robot stands under the night sky during a meteor shower, shooting stars, galaxies, the cosmos, milky way, ultra realistic, highly detailed, 4k uhd",
    "40": "a space station flies through space during a meteor shower, ultra realistic, highly detailed",
    "80": "a supernova explodes, vibrant colors, ultra realistic, highly detailed"
}

Allura xi jfissru dawk in-numri? B'mod awtomatiku Deforum jiġġenera 120 frejm għall-animazzjoni tiegħek, u aħna qed naqsmu dak is-sett ta 'frejms fi tliet partijiet. 0 tfisser l-ewwel qafas, għalhekk dan u l-frejms kollha wara se jkunu varjazzjonijiet im2img tal-ewwel pront. Imbagħad fil-qafas 40, Diffużjoni Stabbli se tibda tagħmel varjazzjonijiet ibbażati fuq it-tieni pront tagħna. Fi 80, jaqleb għat-tielet. Tista 'żżid kemm trid bidliet fil-pront u taġġusta l-limitu massimu tal-qafas fuq it-tab Keyframes kif meħtieġ.

Pass 3: Aġġusta Settings Deforum

Probabilment diġà ndunajt li hemm ton ta 'settings involuti f'Deforum, iżda aħna ser nimxu permezz ta' ftit biex tibda. L-ewwel, fit-tab "Run", issib ħafna mill-issettjar tipiċi tiegħek ta 'Diffużjoni Stabbli. Semmi mill-ġdid il-lott, daħħal iż-żerriegħa li trid tibda biha (aħna qed nużaw mill-ġdid dik għar-robot tagħna), u biddel il-kampjun għal dak li trid.

Fit-tab Keyframes tista 'taġġusta l-moviment tal-"kamera" għall-animazzjoni. Huwa ssettjat awtomatikament biex iżżumja f'intervalli, iżda rridu nżidu moviment vertikali "pan", għalhekk inżidu 0:(-2), 100:(4)mat-"Traduzzjoni Y ” qafas. Dak jgħid lil Deforum biex jittratta l-ewwel qafas bħala li jkun fil-pixel -2 fuq l-assi Y, imbagħad b'qafas 100 jimxi lejn il-pixel 4. Dan jagħtina ftit pan 'il fuq hekk kif l-animazzjoni timxi 'l quddiem.

Fit-tab Output, aħna ser tiċċekkja l-kaxxa "Agħmel GIF" li se tagħtina fajl GIF flimkien mal-fajl tal-vidjo MPEG. Dan huwa wkoll fejn inti żżid l-awdjo bl-issettjar "Żid Soundtrack" u "Soundtrack Path", jekk għandek xi wħud.

Pass 4: Iġġenera l-Vidjo Tiegħek

Fl-aħħarnett, agħfas dik il-buttuna kbira "Iġġenera". Peress li Deforum qed joħloq u jgħaqqad ħafna frejms, dan se jieħu ż-żmien, għalhekk aqbad ftit kafè waqt li tistenna. Meta tkun kompluta, issib il-fajl MPEG, il-verżjoni GIF, flimkien ma' kull qafas individwali u qari tas-settings li użajt taħt l-isem tal-lott fid-direttorju /outputs/img2img-images tiegħek.

Hawn dak li ġabilna l-pront tagħna:

Mhuwiex blockbuster tas-sajf, iżda xorta huwa tip ta ' mesmerizing! Iċċekkja l-gwida uffiċjali tal-bidu malajr Deforum biex titgħallem dwar il-pumi u l-arloġġi l-oħra kollha li tista 'taġġusta.

Jekk qed tfittex proġetti oħra ta’ AI friski, titgħallem kif tiġġenera pakketti ta’ tessut ta’ Minecraft bi Stable Diffusion jew ibda b’ChatGPT, kif ukoll l-affarijiet sorprendenti li tista’ tagħmel ma’ ChatGPT.