Idea
Rakensin paikallisen työkalun, jolla puhelimella kuvattu video voidaan muuttaa 3D Gaussian Splatting -malliksi. Lähtökohtana oli pitää prosessi omalla koneella: tavallinen video sisään, rekonstruktio ulos ja väliin mahdollisimman vähän käsin tehtävää siirtelyä.
Pipeline
Pipeline pilkkoo videon kuviksi, laskee kameran liikkeen ja rakenteen COLMAPilla ja treenaa lopuksi 3D-mallin OpenSplatilla. Tavoitteena oli tehdä työnkulusta toistettava, jotta eri videoita ja laatupresettejä voi kokeilla ilman että jokaista vaihetta pitää käynnistää käsin.
AMD Radeon -näytönohjaimella
Projektin kiinnostavin osa ei ollut pelkkä 3DGS, vaan sen saaminen toimimaan omalla AMD Radeon -näytönohjaimella WSL2:n ja ROCm:n päällä. Se vaati säätöä GPU-ajureiden, ROCm:n, PyTorchin, OpenSplat-buildin ja WSL:n erikoisuuksien kanssa.
Control deck
Tein mukaan pienen web-käyttöliittymän, koska komentorivipipeline alkoi nopeasti tuntua kömpelöltä. Käyttöliittymästä voi valita videon, valita laatupresetin, käynnistää ajon, seurata logia ja ottaa lopputuloksen talteen.
Lopputulos
Lopputuloksena syntyi oma kokeilutyökalu 3DGS-mallien tekemiseen puhelinvideoista. Tavoitteena ei ollut viimeistelty kaupallinen appi, vaan luotettava paikallinen control deck, jolla voi ajaa raskasta pipelinea ja nähdä missä vaiheessa työ oikeasti menee.