Hunyuan3D로 형상과 텍스처를 분리해 GPT Image 캐릭터를 3D로 만드는 연구

GPT Image 원화의 옷 주름은 실제 형상, 칠해진 색, 빛의 결과가 한 이미지에 섞인 표현입니다. 이를 한꺼번에 3D로 옮기면 그림자가 텍스처에 남거나 작은 장식이 형상에서 사라질 수 있습니다. 형상을 먼저 확정하고 표면 표현을 나중에 만드는 접근으로 문제를 나누어 조사할 수 있습니다.

AI 원화의 3D 전환 연구 5편. 공식 구현을 바탕으로 구성한 실험 계획이며 실제 텍스처 생성이나 리깅 결과는 포함하지 않습니다.

Hunyuan3D의 Shape·Paint 경로를 어떻게 활용할까?

Hunyuan3D 2.1 공식 구현은 형상 생성과 텍스처 합성을 나누고 PBR 재질 생성을 다룹니다. 이 구조를 바탕으로 형상 수정 뒤 표면을 생성하는 경로를 설계합니다. 원화와 같은 외형을 보장하거나 자동 리깅을 완성하는 기능으로 해석하지 않습니다. Hunyuan3D 공식 구현, 기술 보고서.

예시 대상은 가죽 가방, 천 재킷, 금속 단추가 있는 인간형 탐험가입니다. 비교할 특징을 재킷 실루엣, 얼굴 비율, 재질 경계, 등판 문양으로 정합니다. 원화의 멋진 조명을 보존하는 조건과 조명을 완화한 제작 참조 조건은 별도로 둡니다.

원화에서 실루엣을 바꾸는 모자 챙과 가방 끈은 메시로 만들고, 얇은 스티치와 작은 얼룩은 텍스처에 남기는 초안을 세웁니다. 어떤 디테일이 메시에 있어야 하는지는 최종 카메라 거리에서 결정합니다. 가까운 얼굴과 멀리 보이는 단추를 같은 기준으로 평가하지 않습니다.

AI 생성 개념 이미지: 표면을 입히기 전에 실루엣과 관절 형상을 검사하는 순서를 표현했습니다. 실제 도구 실행 결과가 아닙니다.

형상을 확정한 뒤 텍스처를 만드는 순서

1. 형상을 생성합니다. 전신 제작용 참조를 입력하고 메시의 앞·옆·뒤를 검사합니다. 가방이 등과 붙거나 팔이 소매 안에 묻힌 부분은 수정 목록에 넣습니다.
2. 토폴로지를 정리합니다. 관절의 굽힘 방향을 고려해 리토폴로지하고 의상과 단단한 소품을 구분합니다. 손과 얼굴의 표현 범위를 이 단계에서 결정합니다.
3. 시험 리그를 만듭니다. 어깨·골반·무릎에 본을 배치하고 팔 들기와 쪼그려 앉기 포즈를 확인합니다. 크게 변형이 실패한다면 텍스처를 만들기 전에 형상을 고칩니다.
4. 최종 UV를 준비합니다. 얼굴의 텍셀 밀도와 옷 경계를 확인합니다. 사용하는 Paint 구현의 메시 입력·전처리·UV 처리 방식에 맞춰 경로를 선택합니다.
5. 표면을 생성하고 UV 보존 여부를 확인합니다. 생성기가 새 UV를 만드는 경우에는 출력 재질을 그 UV와 함께 사용하거나 최종 UV로 다시 베이크합니다. 기존 UV가 유지된다고 가정하지 않습니다.
6. 색과 재질을 보정합니다. 천이 금속처럼 반짝이거나 피부 그림자가 고정되어 있으면 마스크와 참조 색으로 수정합니다. 동일 UV를 쓰는 재질 맵이 서로 정렬됐는지도 확인합니다.

생성 뒤 다시 리토폴로지해야 한다면 고해상도 메시의 색과 노멀을 저해상도 메시로 전달합니다. Blender의 Selected to Active 베이킹은 이러한 표면 정보 전달의 기반 기능입니다. UV 경계의 여백과 노멀 공간 설정도 함께 확인합니다. Blender 베이킹 문서.

형상 생성 전에 재질을 어떻게 배정할지 전부 결정할 필요는 없습니다. 그러나 메시와 UV가 계속 바뀌는 동안 최종 표면을 반복 생성하면 재질 수정 비용이 누적됩니다. 큰 체형과 관절을 먼저 확정하고 표면의 미세 표현으로 내려가는 순서를 실험합니다.

AI 생성 개념 이미지: 형상을 확정한 뒤 색과 재질을 만드는 작업 구성을 보여 줍니다. 실제 도구 실행 결과가 아닙니다.

PBR 맵이 있어도 그림처럼 보이지 않는 이유

PBR은 원화의 붓질을 그대로 재현한다는 뜻이 아닙니다. 재질 맵이 준비되어도 조명·카메라·톤 매핑에 따라 렌더가 달라집니다. 원화와 비교할 때는 아래 항목을 따로 확인합니다.

항목	확인할 문제	보정 실험
Base Color	빛과 그림자가 고정됨	중립광 참조와 재채색 비교
Roughness	천과 피부가 지나치게 반짝임	재질별 마스크로 조정
Metallic	비금속에 금속 반응이 생김	금속 단추 등 지정 영역만 사용
Normal	문양이 과도한 요철로 바뀜	강도 조절과 작은 무늬 제거
UV 경계	팔·목·옷에 색 띠가 나타남	경계 채색과 베이크 여백 보정

실제 엔진에서는 색 텍스처와 데이터 맵의 색 공간을 구분하고 노멀 방향과 채널 패킹을 임포터 규격에 맞춥니다. 공식 저장소의 재질 파일을 임포트했다는 사실보다 엔진에서 같은 조명 반응이 나는지 비교하는 것이 검수 기준입니다.

AI 생성 개념 이미지: 색과 재질을 분리해 조명 반응과 동작 중 표면 표현을 검사하는 장면입니다. 실제 도구 실행 결과가 아닙니다.

리깅과 애니메이션에서 표면이 유지되는지 확인한다

시험 리그를 확정하고 어깨와 팔꿈치의 웨이트를 다듬습니다. 망토와 가방 끈에는 필요한 보조 본을 추가합니다. 표정이 필요하면 얼굴의 셰이프 키를 별도로 구성합니다.

대기와 걷기 클립을 만든 뒤 팔을 들어 옷 주름을 확인합니다. 원화의 주름이 Base Color에 강하게 남아 있으면 팔을 펴도 굽힌 주름이 그대로 보일 수 있습니다. 형상의 변형과 표면의 주름이 충돌할 때는 주름을 줄인 텍스처 조건을 비교합니다.

리타게팅으로 클립을 얻는 경우에는 본 대응과 기준 포즈를 맞추고 발 접지를 보정합니다. 텍스처 합성이 좋아도 관절이나 발 이동이 틀리면 최종 캐릭터 품질은 낮아집니다. 엔진에는 메시·스켈레톤·클립·재질을 함께 가져와 동일 장면에서 확인합니다.

한 번에 생성하는 조건과 분리하는 조건을 비교한다

동일 원화로 한 번에 얻은 메시·재질과, 형상을 고친 뒤 표면을 다시 생성한 결과를 비교합니다. 최종 면 수와 텍스처 용량, 수정 시간 상한을 맞추고 원화 특징 보존·재질 오류·관절 변형을 기록합니다.

두 번째 실험에서는 같은 형상에 강한 조명 참조와 중립광 참조를 각각 사용합니다. 회전하는 광원 아래에서 고정 그림자가 얼마나 드러나는지 관찰합니다. 일러스트 스타일에는 어느 정도 칠해진 명암을 남기는 편이 나을 수 있으므로 PBR 정확도와 원화 인상 점수를 분리합니다.

최종 산출물은 형상 원본, 리토폴로지 메시, UV, 재질 맵, 리깅 파일, 보행·관절 클립과 조명 회전 영상입니다. 형상과 표면을 독립적으로 교체할 수 있도록 버전을 나누어 저장합니다.

자주 묻는 질문

PBR 맵을 생성하면 원화처럼 보이나요? 원화의 스타일과 PBR 재질의 목표가 다를 수 있습니다. 색 배치와 형태를 먼저 맞추고 조명·셰이더를 비교합니다.

텍스처를 먼저 만든 뒤 리토폴로지하면 안 되나요? 가능합니다. 다만 새 UV로 표면을 전달하는 베이킹과 경계 보정 비용을 포함해야 합니다.

원화의 명암과 선을 적극적으로 재현하는 경로는 셀 셰이딩으로 2D 인상을 보존하는 연구에서 이어집니다.