Video to 4DGS AI를 활용한 Unity VR 제작

Video to 4DGS(ply 변환 AI 소프트웨어)

 

https://github.com/AndriiShramko/4DGS-Video-Generator - github

SHARP 모델을 GUI로 쓸수 있게 만든 소프트웨어

 

*SHARP 모델 : Apple에서 나온 단일 이미지/영상 기반 3D/4D 변환 AI 모델(상업적 사용X, 교육 및 연구 목적 사용 가능)

 

필요 파일 2개 : exe 파일, pt 파일

 

https://drive.google.com/drive/folders/1EK4r5eYyshyFEu0fSK2-4aQo8xrzXmST

=> EXE 파일

 

https://ml-site.cdn-apple.com/models/sharp/sharp_2572gikvuh.pt

=> SHARP .pt 모델

exe와 .pt파일 같은 경로에 두고 exe파일 실행

 

자동으로 터미널과 GUI 소프트웨어 실행

영상 파일 지정

생성 경로 지정

변환 프레임 지정

변환 시작

 

1프레임당 63Mb

.ply 파일 생성

 

---

https://www.youtube.com/watch?v=uWJbvw78lgw

변환 테스트용 CPR 영상

---

ply 파일 뷰어

https://superspl.at/editor -> 웹 뷰어

 

Postshot -> 대표적인 ply 포맷(Gaussian Splatting 편집기)\

https://www.jawset.com/

---

Unity .ply 재생 플러그인 / Aras-p ‘UnitySplatting’

https://github.com/aras-p/UnityGaussianSplatting

https://github.com/Normanisfine/Unity_Stream_GS

 

위 Stream_GS의 ZIP파일 받고

유니티 프로젝트 패키지 매니저에서 +버튼 누르고

'Install package from disk'누르고

'Unity_Stream_GS-main\Unity_Stream_GS-main\package\package.json'추가

*위 zip파일 압축해제하고 패키지 매니저에서 +로 불러왔다면 이 파일과 파일 경로는 이 유니티 프로젝트 사용시 계속 존재해야함

 

또는

 

패키지 매니저에서 + git URL에서

'https://github.com/Normanisfine/Unity_Stream_GS.git?path=/package'이 경로 추가

(package.json이 최상단에 있는 경로 git URL을 추가해주어야함)

 

Unity 6.3에서 SteamGS 테스트

 

URP - Renderer Feature에 ‘Gaussian Splat URP Feature 추가

HDRP - 게임 오브젝트 컴포넌트에 Custom Pass Volume에서 추가

 

Tools - Gaussian Splats - Batch Convert PLY Sequence에서 시퀀스 변환

 

게임 오브젝트 Component에 Gaussian Splat Player 추가

 

Unity에서 Cutout 기능

 

VR에서 렌더할때는 Render Mode Multi-Pass로 설정

기본값인 Single Pass에서는 렌더링 되지 않을 수 있음.