"a better tomorrow" for [email protected]

““A Better TomorrowA Better Tomorrow”” for [email protected]@ddsdream.com

DDS Technical Seminar DDS Technical Seminar ;-);-)

소용환소용환, Digital Dream Studios, Digital Dream Studios

20022002년 년 33월 월 2121일일

DDS Technical Seminar ;-)DDS Technical Seminar ;-) "A Better Tomorrow" for [email protected]"A Better Tomorrow" for [email protected] 22

요약요약

Render Farm(w/ PRMan) Render Farm(w/ PRMan) 운용에 있어서…운용에 있어서…

사용 소프트웨어와 분산환경 구성사용 소프트웨어와 분산환경 구성, , 렌더링 절차 등렌더링 절차 등에 대한 정확한 이해를 바탕으로에 대한 정확한 이해를 바탕으로

렌더링 절차와 자원의 사용 방식을 개선한다면렌더링 절차와 자원의 사용 방식을 개선한다면

전산 자원을 효율적으로 사용할 수 있을 뿐만 아니전산 자원을 효율적으로 사용할 수 있을 뿐만 아니라 업무 능률을 향상시킬 수 있다라 업무 능률을 향상시킬 수 있다


순서순서

Rendering ProcessRendering Process

의문점의문점

RenderMan RenderMan 다시 보기다시 보기

개선 방안개선 방안 문제점 문제점 / / 개선 내용개선 내용

구조와 효과구조와 효과


Rendering ProcessRendering Process

Components of Pixar RenderMan & RATComponents of Pixar RenderMan & RAT

Rendering System (Process)Rendering System (Process)

[email protected]@ddsdream.com


Components of RenderMan & RATComponents of RenderMan & RAT

PhotoRealistic RenderMan:PhotoRealistic RenderMan: prman : Rendererprman : Renderer

nrmserver : Network Render Servernrmserver : Network Render Server

RenderMan Artist ToolsRenderMan Artist Tools alfred : Task-based Job Scheduleralfred : Task-based Job Scheduler

mtor : Maya Scene to RIB convertormtor : Maya Scene to RIB convertor

slim : Shader Maker & Managerslim : Shader Maker & Manager

netrender : Network Renderernetrender : Network Renderer


Rendering System: LocalRendering System: Local

Rendering System

mtor

slim

txmake

prman

.mb

.tif

.rib

.slo

.tex Output image

alfred


Rendering System: NetRenderManRendering System: NetRenderMan

Rendering System

mtor

slim

txmake

prman

.mb

.tif

.rib

.slo

.tex Output image

netrender

nrmserveralfred


[email protected]@ddsdream.com

Ark Project :Ark Project : RenderFarm HardwareRenderFarm Hardware

(PIII 800MHz * 2, 512 Memory) * 255 Servers(PIII 800MHz * 2, 512 Memory) * 255 Servers (12 Term. Servers + 73 Renderers) * 3 Groups(12 Term. Servers + 73 Renderers) * 3 Groups

SoftwareSoftware MtoR Server: RAT 4.1 on Windows2000MtoR Server: RAT 4.1 on Windows2000 PRMan Renderer: PRMan 3.9.2 on Linux 2.2.19PRMan Renderer: PRMan 3.9.2 on Linux 2.2.19

ArkRun (on MtoR Server)ArkRun (on MtoR Server) Batch Job SchedulerBatch Job Scheduler Easy Queuing InterfaceEasy Queuing Interface


Render Pattern of ArkRun Env.Render Pattern of ArkRun Env.


의문점의문점

RibGen RibGen 진행 중에 이미 만들어진 진행 중에 이미 만들어진 frame frame 을 먼저 을 먼저 렌더링하는 것은 불가능한가렌더링하는 것은 불가능한가??

Rib Rib 변환 작업은 분산처리가 불가능한가변환 작업은 분산처리가 불가능한가??

분산처리를 위한 자원 배분 규칙은 합리적인가분산처리를 위한 자원 배분 규칙은 합리적인가??

시스템 자원은 충분히 사용되고 있는가시스템 자원은 충분히 사용되고 있는가??

네트워크 자원은 얼마나 사용하는가네트워크 자원은 얼마나 사용하는가??


RenderMan RenderMan 다시 보기다시 보기

Alfred: Task/Service Alfred: Task/Service 기반의 작업 제어 이해기반의 작업 제어 이해

prman, netrender, mtor prman, netrender, mtor 등의 작동 양상 파악등의 작동 양상 파악

RenderGlobal RenderGlobal 로 대변되는 렌더링 환경 이해로 대변되는 렌더링 환경 이해

네트워크 데이터 이동량 측정 네트워크 데이터 이동량 측정 / / 이동양상 분석이동양상 분석

시스템 자원 사용 상황 측정 시스템 자원 사용 상황 측정 / / 원인 분석원인 분석


Rendering System: NetRenderMan (Rev.)Rendering System: NetRenderMan (Rev.)

Rendering System

mtor

slim

txmake

prman

.mb

.tif

.rib

.slo

.tex Output image

netrender

nrmserveralfred


개선 단계 개선 단계 1: CowBoy1: CowBoy

비효율적인 데이터비효율적인 데이터//네트워크 사용 방식 개선네트워크 사용 방식 개선 ““NetRenderMan” NetRenderMan” 방식방식: prman : prman 과 과 netrender netrender 사사

이의 비효율적 데이터 교환이의 비효율적 데이터 교환

병목으로 작용병목으로 작용, CPU , CPU 활용률 저하활용률 저하

““With a little help from my Friend~”With a little help from my Friend~” 기반 운용체제기반 운용체제(Linux)(Linux)의 향상된 네트워크 의 향상된 네트워크 I/O I/O 관리 관리

능력 활용능력 활용

운용체제의 차이에 의한 문제 처리운용체제의 차이에 의한 문제 처리

(+ TODO: (+ TODO: 비효율적 데이터 관리 모델 보완비효율적 데이터 관리 모델 보완))


Rendering System: + CowBoyRendering System: + CowBoy

Rendering System

mtor

slim

txmake

prman

.mb

.tif

.rib

.slo

.tex

Output

alfserveralfred

SMBFS

CowBoy

Local File System


CowBoy EffectCowBoy Effect


개선 단계 개선 단계 2: RenderWoman2: RenderWoman

불필요한 상호 대기 시간 제거불필요한 상호 대기 시간 제거 RendererRenderer와 와 RibGenerator RibGenerator 간에 간에 Blocking Blocking 현상현상

다른 하나는 항상 다른 하나는 항상 Idle Idle 상태에 놓임상태에 놓임

RenderWoman: New Queuing InterfaceRenderWoman: New Queuing Interface RibGenRibGen과 동시에 과 동시에 Rendering Rendering 진행진행

Task Task 사이의 불필요한 의존성 제거사이의 불필요한 의존성 제거

Job Job 사이의 불필요한 사이의 불필요한 Blocking Blocking 제거제거

자원 가용성에 의거한 자원 가용성에 의거한 Task Task 진행 관리진행 관리

(+ TODO: (+ TODO: 필요하다면 필요하다면 Scene Scene 관리 도구 추가관리 도구 추가))


Rendering System: + RenderWomanRendering System: + RenderWoman

Rendering System

prman

Output

alfserver

alfred

SMBFS

CowBoyLocal File System

slim

mtor

.mb .tex .slo

.rib


RenderWoman EffectRenderWoman Effect


개선 단계 개선 단계 3: Tweeny3: Tweeny

집중된 집중된 RibGen TaskRibGen Task의 분산 처리의 분산 처리 상대적으로 긴 상대적으로 긴 RibGen Task RibGen Task 소요 시간소요 시간

Renderer Renderer 와 균형의 문제와 균형의 문제

RibGen RibGen 서버 증설은 사용서버 증설은 사용//관리 부담관리 부담

Tweeny: MTOR HelperTweeny: MTOR Helper WindowsWindows와 와 MTORMTOR의 한계 극복의 한계 극복

데이터 전달 보조데이터 전달 보조

(+ TODO: (+ TODO: 통합 관리 기능 제공통합 관리 기능 제공))


Rendering System: + TweenyRendering System: + Tweeny

Rendering System

prman

Output

alfserver

alfred

SMBFS

CowBoyLocal File System

alfserver

SMBFS

Tweeny

mtorslim

.mb .tex .slo

.rib


개선 단계 개선 단계 4: Upgrade4: Upgrade

간단한간단한, , 그러나 가장 비싸면서 비효율적인 방법그러나 가장 비싸면서 비효율적인 방법

한계점이 하드웨어에 있다면 꼭 필요한 단계한계점이 하드웨어에 있다면 꼭 필요한 단계 정확한 모니터링과 분석 필요정확한 모니터링과 분석 필요: WatchDog: WatchDog

다양하고 많은 데이터와 인력 소요다양하고 많은 데이터와 인력 소요


““To Be ContinueTo Be Continue””

Next Step!Next Step! CowBoy, Tweeny, WatchDog CowBoy, Tweeny, WatchDog 를 얹은 를 얹은 TESTBEDTESTBED

실제 프로젝트의 일부에 적용시켜 가능성 확인실제 프로젝트의 일부에 적용시켜 가능성 확인

자원 활용도에 따른 재분배 및 프로젝트 정식 적용자원 활용도에 따른 재분배 및 프로젝트 정식 적용

시스템 운용과 렌더링 기술에 대한 꾸준한 실험과 연시스템 운용과 렌더링 기술에 대한 꾸준한 실험과 연구구

지식지식//정보의 체계화와 교육을 통한 “정보의 체계화와 교육을 통한 “DDS DDS Upgrade”Upgrade”

"a better tomorrow" for [email protected]

Documents