2D 영상 to VR 영상 변환 인공지능 (모델,플랫폼,소프트웨어) / 2D Mono Video to 3D Stereo VR Video Conversion AI (model, platform, software)

 

StereoCrafter

https://github.com/TencentARC/StereoCrafter

GitHub - TencentARC/StereoCrafter: A framework to convert any 2D videos to immersive stereoscopic 3D

텐센트 AI 랩에서 공개한 오픈소스

Git에 있는 설치 방식대로 했을때 모듈 문제 발생시 아래 수정된 코드 사용

https://mgtul.tistory.com/238

'2D Video' To '3D Stereo Video' AI 구동 방법(Tencent AI Lab - StereoCrafter)

오픈소스라서 자유롭게 내부 코드도 수정해서 써볼 수 있으며 요금과 사용에 대한 제한이 없다.

다만, 퀄리티는 조금 아쉬운 부분이 있고 AI로 변환할 영상 소스의 크기가 크면 Out of Memory 문제가 발생한다.

(GPU 메모리가 큰 걸 쓰거나, 한번에 처리할 사이즈를 줄이면 해결 되는 문제)

 

공개된 논문을 기준으로는 아래 비교 모델(Immersity AI, Owl3D) 보다 뎁스 추론 정밀도와, 인페인팅 정밀도가 높은 것으로 나온다.

 

연속된 3개의 프레임을 가지고 뎁스와 인페인팅 추론을 하기 때문에 1프레임만으로(이미지만으로) 생성을 하기는 어렵다.

(아래 모델들은 한 프레임만 가지고 뎁스와 인페인팅 추론을 하기 때문에 1장의 이미지만 가지고도 생성 가능)

 

---

Immersity AI

https://www.immersity.ai/

Immersity AI | Convert Image and Video to 3D

웹 기반 플랫폼으로 서버에서 연산해서 결과물을 받게 된다.

웹기반으로 별도 설치 없이 바로 사용할 수 있다.

이미지도 변환 할 수 있다.

무료버전과 유료버전이 존재한다.

무료버전은 워터마크가 나오고 생성에 약간 제한이 있다.

유료버전의 가격은 생성 크레딧 대비 저렴하진 않은 느낌

조절 할 수 있는 파라미터가 크게 유연하진 않다.

영상이 아니라 이미지 1장으로도 가능하다.

 

---

Owl3D

https://www.owl3d.com/

Owl3D

소프트웨어이며 설치해서 로컬 GPU를 사용해서 연산한다.

이미지도 변환 할 수 있다.

무료버전과 유료버전이 존재하며

유료버전 사용시 좀 더 큰 해상도와 더 긴 길이를 변환 할 수 있다.

조절 할 수 있는 파라미터는 Immersity AI 보다는 더 많다.

영상이 아니라 이미지 1장으로도 가능하다.