오버그래픽스 OverGraphics

Unity Gaussian Splatting 그림자&코드북 기능 통합 버전

오버그래픽스 OverGraphics — Wed, 20 May 2026 12:30:51 +0900

https://mgtul.tistory.com/264

Unity Gaussian Splatting Shadow/가우시안 스플래팅 그림자 구현

Unity 6.3 URP 버전 https://mgtul.tistory.com/263 Video to 4DGS AI를 활용한 Unity VR 제작Video to 4DGS(ply 변환 AI 소프트웨어) https://github.com/AndriiShramko/4DGS-Video-Generator - githubSHARP 모델을 GUI로 쓸수 있게 만든 소프트

mgtul.tistory.com

https://mgtul.tistory.com/265

Unity Gaussian Splatting 코드북 압축

mgtul.tistory.com

위 2가지 기능 통합된 버전

패키지 추가 방법과 사용방법 동일

com_limjiannn_gaussian-splatting-stream.zip

0.16MB

Unity Gaussian Splatting 코드북 압축

오버그래픽스 OverGraphics — Wed, 20 May 2026 03:39:35 +0900

Unity 6.3 URP 버전

https://mgtul.tistory.com/263

Video to 4DGS AI를 활용한 Unity VR 제작

Video to 4DGS(ply 변환 AI 소프트웨어) https://github.com/AndriiShramko/4DGS-Video-Generator - githubSHARP 모델을 GUI로 쓸수 있게 만든 소프트웨어 *SHARP 모델 : Apple에서 나온 단일 이미지/영상 기반 3D/4D 변환 AI 모델(

mgtul.tistory.com

위 내용 참고

https://github.com/Normanisfine/Unity_Stream_GS

위 플러그인 수정해서 사용

com.limjiannn.gaussian-splatting-stream.zip

0.15MB

Unity 프로젝트 파일 경로 Packages에 위 zip 해제한 폴더 그대로 추가

예시 경로 : '...\UnityProject\Packages\com.limjiannn.gaussian-splatting-stream'

자동으로 유니티 패키지 추가됨.

렌더러에서 'Gaussian Splat URP Feature'추가

ply_to_codebook.py

0.02MB

위 py코드를 통해 ply파일 codebook 압축 형태로 변환

변환된 파일 그대로 Unity에 임포트

이후 사용 법은 원래 플러그인과 동일

위 py를 통해 변환한 결과값 자체가 코드북 압축된 시퀀스 에셋 형태로 바로 Unity에서 사용가능한 파일

기존 플러그인에서 코드를 수정했지만, 원래 시퀀스 에셋도 사용가능하고 동시에 코드북 압축된 시퀀스 에셋도 사용가능함.

Unity Gaussian Splatting Shadow/가우시안 스플래팅 그림자 구현

오버그래픽스 OverGraphics — Sun, 10 May 2026 18:37:43 +0900

Unity 6.3 URP 버전

https://mgtul.tistory.com/263

Video to 4DGS AI를 활용한 Unity VR 제작

mgtul.tistory.com

위 내용 참고

https://github.com/Normanisfine/Unity_Stream_GS

GitHub - Normanisfine/Unity_Stream_GS: A Unity plugin for streaming and playing back animated 3D Gaussian Splatting sequences in

A Unity plugin for streaming and playing back animated 3D Gaussian Splatting sequences in real time, with AR and VR support. - Normanisfine/Unity_Stream_GS

github.com

위 플러그인 수정해서 사용

com.limjiannn.gaussian-splatting-stream.zip

0.15MB

Unity 프로젝트 파일 경로 Packages에 위 zip 해제한 폴더 그대로 추가

예시 경로 : '...\UnityProject\Packages\com.limjiannn.gaussian-splatting-stream'

자동으로 유니티 패키지 추가됨.

렌더러에서 'Gaussian Splat URP Feature'추가

배경(3DGS)와 인물(4DGS)각각 셋팅

아무 게임오브젝트에다가 'Gaussian Shadow System' 스크립트 붙이고

Shadow Caster(그림자 드리울 가우시안 스플랫)에 인물 연결

Shadow Receiver(그림자 생길 가우시안 스플랫)에 배경 연결

그리고 현재 버전에서 그림자는 Directional만 구현해놨음.

Directional Light 연결

Directional Light의 Rotation(빛의 방향)만 참조하므로 실제 유니티 라이팅이 반영되지는 않음

단순히 Scene뷰에서 GUI로 그림자 방향 컨트롤 하기 쉽게 하기 위해 이렇게 구현함.

Directional Light 기즈모 조절해서 그림자 방향 설정

그 외에 그림자 세기, 패딩, 사이즈, 블러 등 설정 가능

*셋팅하고 그림자 안보이면 에디터에서 한번 Play후 확인

*현재는 Directional Light 타입 그림자만 연산 (추후 Spot Light, Point Light 그림자 타입 추가)

Shadow Caster, Shadow Receiver 1대1 연산 (다대일 연산 방식 X)

Video to 4DGS AI를 활용한 Unity VR 제작

오버그래픽스 OverGraphics — Sun, 22 Mar 2026 12:21:48 +0900

Video to 4DGS(ply 변환 AI 소프트웨어)

https://github.com/AndriiShramko/4DGS-Video-Generator - github

SHARP 모델을 GUI로 쓸수 있게 만든 소프트웨어

*SHARP 모델 : Apple에서 나온 단일 이미지/영상 기반 3D/4D 변환 AI 모델(상업적 사용X, 교육 및 연구 목적 사용 가능)

필요 파일 2개 : exe 파일, pt 파일

https://drive.google.com/drive/folders/1EK4r5eYyshyFEu0fSK2-4aQo8xrzXmST

=> EXE 파일

https://ml-site.cdn-apple.com/models/sharp/sharp_2572gikvuh.pt

=> SHARP .pt 모델

exe와 .pt파일 같은 경로에 두고 exe파일 실행

자동으로 터미널과 GUI 소프트웨어 실행

영상 파일 지정

생성 경로 지정

변환 프레임 지정

변환 시작

1프레임당 63Mb

.ply 파일 생성

https://www.youtube.com/watch?v=uWJbvw78lgw

변환 테스트용 CPR 영상

ply 파일 뷰어

https://superspl.at/editor -> 웹 뷰어

Postshot -> 대표적인 ply 포맷(Gaussian Splatting 편집기)\

https://www.jawset.com/

Unity .ply 재생 플러그인 / Aras-p ‘UnitySplatting’

https://github.com/aras-p/UnityGaussianSplatting

https://github.com/Normanisfine/Unity_Stream_GS

위 Stream_GS의 ZIP파일 받고

유니티 프로젝트 패키지 매니저에서 +버튼 누르고

'Install package from disk'누르고

'Unity_Stream_GS-main\Unity_Stream_GS-main\package\package.json'추가

*위 zip파일 압축해제하고 패키지 매니저에서 +로 불러왔다면 이 파일과 파일 경로는 이 유니티 프로젝트 사용시 계속 존재해야함

또는

패키지 매니저에서 + git URL에서

'https://github.com/Normanisfine/Unity_Stream_GS.git?path=/package'이 경로 추가

(package.json이 최상단에 있는 경로 git URL을 추가해주어야함)

Unity 6.3에서 SteamGS 테스트

URP - Renderer Feature에 ‘Gaussian Splat URP Feature 추가

HDRP - 게임 오브젝트 컴포넌트에 Custom Pass Volume에서 추가

Tools - Gaussian Splats - Batch Convert PLY Sequence에서 시퀀스 변환

게임 오브젝트 Component에 Gaussian Splat Player 추가

Unity에서 Cutout 기능

VR에서 렌더할때는 Render Mode Multi-Pass로 설정

기본값인 Single Pass에서는 렌더링 되지 않을 수 있음.

[미디어아트] Levy Flight 알고리즘 기반 인터랙티브 물고기 시뮬레이션 피아노 연주

오버그래픽스 OverGraphics — Sat, 20 Dec 2025 09:00:57 +0900

https://www.youtube.com/watch?v=mbAfcEuFxiY

Inspired by: Lee Jaehyung - Machine Impromptu https://www.leejaehyung.com/machine-impromptu

이재형 작가의 "Machine Impromptu (기계 즉흥곡)"에서 영감을 받아 제작한 인터랙티브 오디오 비주얼 작품이다.

원작에서 물고기들이 만들어내는 우연성, 즉 자연에서 자발적으로 발생하는 예측 불가능한 움직임이 만들어내는 음악성에 흥미를 가졌고, 이러한 자연적 우연성에 인간의 개입을 추가하고자 했다. 그러나 실제 물고기에게 자극을 주는 방식은 윤리적 문제가 있었고, 생명체를 예술의 도구로 사용하는 것에 대한 고민 끝에 디지털 환경으로 전환했다.

Levy Flight 알고리즘을 사용해 물고기의 자연스러운 움직임과 우연성을 구현했고, 먹이를 향한 접근 행동과 위협으로부터의 도피 행동을 추가했다. 관객은 마우스 좌클릭으로 먹이를, 우클릭으로 상어를 생성하여 생태계에 개입할 수 있다. 물고기의 움직임에 인간의 의도가 더해지면서 피아노 연주는 실시간으로 변화한다.

평화로운 순간에는 밝은 코드 진행(C Maj → G Maj → A Min → F Maj)이,

위협 상황에서는 어두운 코드 진행(A Min → D Min → E Maj → A Min)이 흐른다.

관객은 디지털 생태계의 창조자이자 교란자로서 우연성과 의도성이 공존하는 음악적 경험을 만들어간다.

아래 사이트에서 다운로드 및 플레이

https://over-graphics.itch.io/fishpiano

FishPiano by Over Graphics

Media Art

over-graphics.itch.io

Levy Flight 알고리즘

먹이 탐색

위협 회피

스튜디오 오버그래픽스
정준희 Technical Artist
ovgrps@gmail.com

[AI 미디어아트] Digital Graffiti - StreamDiffusion 기반 실시간 그래피티

오버그래픽스 OverGraphics — Sun, 14 Dec 2025 19:47:02 +0900

https://youtu.be/4CHH_jEnifI?si=GehNlSA5372fBrQi

'Digital Graffiti'는 실시간 AI 모델을 활용하여 누구나 즉각적으로 준수한 그래피티 결과물을 생성하고 체험할 수 있도록 구현한 미디어아트 입니다.

이 작품은 사용자의 스마트폰을 스프레이처럼 활용하는 새로운 인터랙션을 제공합니다. 사용자는 QR코드를 통해 접속한 모바일 웹페이지에서 카메라로 동적 마커를 인식하며, 실제 벽에 그리는 듯한 움직임으로 미디어 월에 드로잉합니다. 이때, AI 모델인 StreamDiffusion이 낙서와 같은 드로잉을 실시간으로 그래피티 아트로 변환하여 즉각적인 시각적 만족감을 제공합니다.

그래피티 체험을 AI를 활용한 디지털로 전환

스마트폰 카메라와 동적 마커를 활용한 인터랙션

스마트폰과 미디어월 화면 예시

스튜디오 오버그래픽스
정준희 Technical Artist
ovgrps@gmail.com

유니티 Webgl 동적 해상도 템플릿 - Better Minimal WebGL Template

오버그래픽스 OverGraphics — Tue, 9 Dec 2025 04:37:26 +0900

https://seansleblanc.itch.io/better-minimal-webgl-template

(Unity) Better Minimal WebGL Template by Sean

The package is quite simple.™

seansleblanc.itch.io

다운로드 받고 압축풀고 유니티 Assets 폴더에 넣고 에디터 재시작하면

webgl 환경에서 빌드셋팅에서 template이 추가됨

ngrok 로컬 서버를 공개 서버로 전환 도구

오버그래픽스 OverGraphics — Sat, 22 Nov 2025 19:31:19 +0900

https://ngrok.com/

ngrok | API Gateway, Kubernetes Ingress, Webhook Gateway

ngrok simplifies app delivery by unifying API gateway, Kubernetes ingress, multi-cluster load balancing and more with ngrok's Universal Gateway.

ngrok.com

개발하면서 서버를 로컬에서 돌려서 테스트 해볼때 http라서 제한이 있거나

혹은 외부 접속을 못하는 문제가 있을 경우 사용하기 좋은 도구

자신의 로컬 환경에서 만든 서버를 외부에서도 접속할 수 있는 URL로 생성해주고 HTTPS로 테스트 해볼 수 있음

다만, 무료버전에서는 제한이 있음(시간 제한, 일정 시간 이후 세션 자동 종료 또는 URL 변경 등?)

Screego 화면 공유 오픈소스 WebRTC 서버

오버그래픽스 OverGraphics — Thu, 20 Nov 2025 03:31:42 +0900

https://screego.net/#/

Screego

screego.net

웹브라우저에서 바로 내 컴퓨터 화면을 공유하고 URL로 배포

방(room) 형태로 만들고 링크만 공유하면 다른 사람들이 다중 접속

회원가입과 설치 없이 바로 공유 및 접속 가능

StreamDiffusion Conda 설치 과정 기록

오버그래픽스 OverGraphics — Sun, 26 Oct 2025 00:41:48 +0900

환경 : 윈도우11 / RTX3070 / StreamDiffusion / miniconda

#git 설치
https://git-scm.com/download/win

# conda 가상환경 생성 및 실행
conda create -n streamdiffusion python=3.10 -y
conda activate streamdiffusion

# PyTorch 설치
pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu121

# numpy 다운그레이드
pip install numpy==1.24.3 --force-reinstall

# pillow다운그레이드
pip install pillow==10.1.0 --force-reinstall

# xformers 설치
pip install xformers==0.0.23 --no-deps

# ML 라이브러리 설치
pip install diffusers==0.25.0 transformers==4.36.2 accelerate==0.25.0

# StreamDiffusion 설치
pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion[tensorrt]

# huggingface_hub를 호환되는 버전으로 다운그레이드
pip install huggingface_hub==0.20.3 --force-reinstall

# TensorRT 설치
python -m streamdiffusion.tools.install-tensorrt

# pywin32
pip install --force-reinstall pywin32

# 최종 확인
pip check

import torch
from diffusers import StableDiffusionPipeline, AutoencoderTiny
from streamdiffusion import StreamDiffusion
from streamdiffusion.image_utils import postprocess_image
from PIL import Image

print("이미지 생성 테스트...")

# 모델 로드
pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16
).to("cuda")

# StreamDiffusion 설정
stream = StreamDiffusion(
    pipe,
    t_index_list=[0, 16, 32, 45],
    torch_dtype=torch.float16,
    cfg_type="none",
)

# LCM LoRA 로드 (빠른 생성을 위해)
stream.load_lcm_lora()
stream.fuse_lora()

# Tiny VAE로 가속 (선택사항)
stream.vae = AutoencoderTiny.from_pretrained("madebyollin/taesd").to(
    device=pipe.device, dtype=pipe.dtype
)

# xformers 가속 활성화
pipe.enable_xformers_memory_efficient_attention()

# 프롬프트 설정
prompt = "a beautiful landscape with mountains and a lake, sunset, highly detailed"
stream.prepare(prompt)

# Warmup (처음 몇 번은 느림)
print("Warmup 중...")
for _ in range(4):
    stream.txt2img()

# 이미지 생성
print("이미지 생성 중...")
output = stream.txt2img()
image = postprocess_image(output, output_type="pil")[0]

# 저장
image.save("test_output.png")
print("✓ 이미지 생성 완료! test_output.png 저장됨")

StreamDiffusion으로 이미지 1장 생성 테스트하는 테스트 python 코드