ComfyUI와 ControlNet으로 2D 픽셀 아트 스타일 가이드 일관성 유지하기

핵심 요약

ComfyUI와 ControlNet은 생성 이미지의 구도·포즈·윤곽을 제어하고 픽셀 아트 스타일 가이드는 팔레트·명암 단계·선 굵기·캔버스 규격을 제한하는 방식으로 결합한다. 핵심은 매번 좋은 프롬프트를 새로 쓰는 것이 아니라 같은 워크플로와 고정 시드·레퍼런스·후처리 규칙을 재사용해 결과의 변동 범위를 줄이는 데 있다.

2D 픽셀 아트에서 스타일 일관성이 왜 무너지는가?

이미지 생성 모델은 프롬프트의 의미를 우선 해석한다. 따라서 같은 pixel art 프롬프트라도 캐릭터 비율, 외곽선, 광원 방향, 색 수, 디더링 방식은 매번 달라질 수 있다. 게임 에셋에서는 이 작은 차이가 모였을 때 캐릭터와 배경이 서로 다른 게임에서 온 것처럼 보이게 만든다.

특히 다음 요소는 프롬프트만으로 고정하기 어렵다.

항목	흔한 변동	스타일 가이드 기준 예시	제어 방법
캔버스와 비율	1:1과 세로형 결과가 혼재	캐릭터 원본 64×64, 초상화 128×128	빈 Latent Image 크기 고정
실루엣	팔·무기·머리 장식 위치 변화	1픽셀 외곽선, 큰 덩어리 우선	Canny 또는 Lineart ControlNet
포즈	관절 방향과 무게 중심 변화	8방향 걷기 기준 포즈	OpenPose ControlNet
색상	채도와 명암 단계가 증가	팔레트 24색, 명암 3단계	팔레트 후처리와 수동 검수
광원	좌우 광원이 뒤섞임	좌상단 45도 광원	레퍼런스와 프롬프트 규칙

ControlNet은 결과를 완전히 결정하는 도구가 아니다. 대신 생성 모델이 따라야 할 공간적 조건을 제공해 실루엣과 구도의 변동을 줄인다.

ComfyUI에서 레퍼런스 이미지, ControlNet, 생성 결과가 연결된 픽셀 아트 제작 워크플로

ComfyUI와 ControlNet의 역할은 어떻게 나눌까?

권장 구조는 ‘스타일은 모델과 레퍼런스로 형태는 ControlNet으로 최종 픽셀 규칙은 후처리로’ 나누는 것이다.

flowchart LR
    A[스타일 가이드] --> B[고정 프롬프트와 팔레트]
    C[포즈 또는 러프] --> D[ControlNet 전처리]
    B --> E[ComfyUI 생성 워크플로]
    D --> E
    E --> F[Nearest Neighbor 축소]
    F --> G[팔레트·외곽선 검수]
    G --> H[게임 에셋]

체크포인트와 LoRA: 화면의 질감, 재질, 캐릭터 표현 같은 전반적 스타일을 담당한다.
ControlNet: 포즈, 윤곽, 깊이, 타일 배치처럼 형태를 담당한다.
프롬프트: 에셋의 의미와 예외 조건을 담당한다.
후처리: 픽셀 크기, 색 수, 외곽선처럼 최종 납품 규칙을 강제한다.

하나의 ControlNet에 모든 요구를 넣기보다 목적에 따라 나눈다. 캐릭터 스프라이트에는 OpenPose와 Lineart가, 배경 러프에는 Canny 또는 Depth가 실용적이다.

픽셀 아트 스타일 가이드는 무엇을 고정해야 할까?

스타일 가이드는 ‘예쁜 예시 이미지 모음’보다 검수 가능한 수치와 금지 규칙을 포함해야 한다. 최소한 아래 항목을 문서화한다.

캔버스와 스케일 규칙

원본 작업 해상도와 게임 내 표시 배율을 구분한다. 예를 들어 64×64 캐릭터를 4배로 표시한다면 생성 단계에서 256×256으로 디테일을 만든 뒤 64×64으로 축소하는 방식보다 처음부터 큰 형태를 단순하게 유지하는 편이 안전하다.

Nearest Neighbor 축소는 주변 픽셀을 섞지 않으므로 픽셀 경계를 유지한다. 축소 비율은 정수 배수를 권장한다.

W_{output}=\frac{W_{source}}{s},\qquad H_{output}=\frac{H_{source}}{s}

여기서 $s$ 는 2, 4, 8 같은 정수 스케일이다. 비정수 축소는 픽셀 크기를 불균일하게 만들어 수동 보정 비용을 높인다.

팔레트와 명암 규칙

팔레트는 색상 목록만이 아니라 용도를 포함해야 한다. 예를 들어 피부 하이라이트, 금속 중간색, 위험 오브젝트 강조색처럼 역할을 지정한다. 명암 단계도 소재별로 제한한다.

소재	권장 명암 단계	주의점
피부·천	3단계	부드러운 그라데이션 금지
금속	3~4단계	하이라이트를 작은 면적으로 제한
잔디·돌	2~3단계	랜덤 노이즈 과다 사용 금지
UI 아이콘	2~3단계	배경과 분리되는 명도 대비 확보

외곽선과 디더링 규칙

외곽선은 1픽셀인지 그림자 쪽에서만 사용하는지 완전한 검정색을 허용하는지 정한다. 디더링도 2×2 Bayer 패턴처럼 허용 패턴을 정하지 않으면 생성 결과마다 다른 질감이 섞인다.

ComfyUI에서 ControlNet 워크플로를 어떻게 구성할까?

1. 기준 워크플로를 하나만 만든다

캐릭터용 워크플로와 배경용 워크플로를 분리하되 같은 용도의 워크플로는 복제해 변형하지 않는다. 다음 값은 작업 단위에서 고정한다.

Checkpoint와 VAE
긍정·부정 프롬프트의 공통 부분
캔버스 너비와 높이
Sampler와 Scheduler
CFG, Steps, Denoise 범위
ControlNet 모델과 전처리기

프롬프트의 공통 부분은 다음처럼 짧고 명시적으로 유지한다.

2D game sprite, pixel art, 1 pixel outline,
limited color palette, 3-tone shading,
light from upper left, transparent background

부정 프롬프트에는 스타일 가이드에서 금지한 요소만 넣는다.

smooth gradient, anti-aliasing, blurry edges,
photorealistic, text, watermark

모든 문제를 부정 프롬프트로 해결하려 하면 관리가 어려워진다. 픽셀 크기와 팔레트 제한은 생성 후 단계에서 다시 강제하는 편이 낫다.

2. 입력 형태에 맞는 ControlNet을 선택한다

캐릭터 포즈가 기준이라면 OpenPose, 러프 실루엣이 기준이라면 Canny 또는 Lineart를 쓴다. 배경의 원근과 큰 덩어리가 중요하다면 Depth를 검토할 수 있다.

입력 자료	우선 선택	강점	주의점
관절 포즈	OpenPose	동작과 방향 유지	의상 실루엣은 별도 제어 필요
흑백 러프	Canny	큰 윤곽 유지	선이 복잡하면 결과가 경직될 수 있음
정리된 선화	Lineart	외곽선 구조 반영	선화 품질에 결과가 크게 좌우됨
3D 블록아웃	Depth	공간감과 카메라 구도 유지	픽셀 단위 디테일은 보장하지 않음

ControlNet 강도는 낮으면 기준 형태를 잃고 높으면 결과가 러프에 지나치게 묶인다. 처음에는 한 개의 ControlNet만 연결하고 강도를 조금씩 조정하며 결과를 비교한다. 두 개 이상을 병용할 때는 포즈와 윤곽처럼 서로 다른 역할일 때만 추가한다.

3. 고정 시드로 비교하고 승인 시드만 보관한다

시드가 바뀌면 프롬프트 수정의 효과와 무작위 변동을 구분하기 어렵다. 먼저 기준 시드를 고정해 ControlNet 강도, 프롬프트, 해상도를 조정한다. 방향이 확정된 뒤에만 시드를 바꿔 후보를 만든다.

승인한 결과에는 최소한 다음 메타데이터를 남긴다.

{
  "asset": "knight_idle_south",
  "seed": 18472931,
  "size": "256x256",
  "controlnet": "openpose",
  "control_strength": 0.8,
  "palette": "game-palette-v1"
}

이 정보는 재생성보다 수정 작업에서 더 중요하다. 무기만 바꾸거나 색상을 교체할 때 동일한 조건을 복원할 수 있다.

픽셀 아트 결과를 납품 품질로 만드는 후처리는 무엇인가?

생성 결과를 그대로 게임에 넣지 않는다. 최소한 아래 순서로 정리한다.

Nearest Neighbor 축소: 정수 배율로 목표 캔버스에 맞춘다.
팔레트 양자화: 허용 팔레트 밖의 색을 가장 가까운 지정 색으로 치환한다.
수동 픽셀 정리: 계단형 윤곽, 눈·손·무기 끝처럼 읽기성에 영향을 주는 영역을 수정한다.
엔진 내 검수: 실제 배경과 조명 위에서 대비, 충돌 영역, 애니메이션 연결을 확인한다.

팔레트 양자화에서 RGB 거리만 사용할 경우 인간의 지각 차이와 맞지 않을 수 있다. 빠른 자동화에는 RGB 유클리드 거리를 쓸 수 있지만 최종 승인에서는 명도 대비와 게임 화면에서의 식별성을 함께 본다.

d(c,p)=\sqrt{(R_c-R_p)^2+(G_c-G_p)^2+(B_c-B_p)^2}

여기서 $c$ 는 원본 픽셀 색, $p$ 는 팔레트 색이다. 가장 작은 $d(c,p)$ 를 가진 팔레트 색으로 치환할 수 있다.

64×64 픽셀 아트 캐릭터에서 축소 전 결과와 팔레트·외곽선 정리 후 결과를 비교한 예시

스타일 일관성 검수 체크리스트

에셋을 승인하기 전 아래 항목을 확인하면 생성 결과의 편차를 빠르게 걸러낼 수 있다.

목표 캔버스 크기와 정수 스케일을 지켰는가?
지정 팔레트 밖의 색이 남아 있지 않은가?
광원 방향이 기존 에셋과 같은가?
외곽선의 굵기와 명도가 규칙에 맞는가?
같은 클래스의 캐릭터와 머리·몸통·무기 비율이 맞는가?
100% 크기와 실제 게임 표시 크기에서 모두 읽히는가?
투명 배경에 반투명 가장자리나 불필요한 그림자가 없는가?

자주 묻는 질문 (FAQ)

ControlNet만으로 픽셀 아트 스타일을 고정할 수 있나?

아니다. ControlNet은 주로 구조를 제어한다. 픽셀 크기, 팔레트, 외곽선 같은 스타일 규칙은 모델·프롬프트·후처리와 함께 관리해야 한다.

Canny와 Lineart 중 무엇을 먼저 써야 하나?

러프 스케치나 기존 스프라이트의 큰 윤곽을 따를 때는 Canny가 간단하다. 깨끗한 선화가 있고 외곽선 구조를 더 정확히 유지해야 한다면 Lineart가 적합하다.

생성 이미지를 그대로 게임에 써도 되나?

권장하지 않는다. 특히 픽셀 아트는 축소, 팔레트 제한, 충돌 영역 확인, 애니메이션 프레임 간 일관성 검수가 필요하다.

정리

ComfyUI와 ControlNet을 쓰는 목적은 에셋을 자동으로 완성하는 데 있지 않다. 스타일 가이드의 수치 규칙을 기준으로 생성 변동을 통제하고 반복 가능한 조건을 남겨 수정 비용을 줄이는 데 있다. 워크플로 하나, 승인 시드, 제한된 팔레트, 짧은 검수 체크리스트부터 고정하면 2D 픽셀 아트 제작의 일관성을 가장 적은 운영 비용으로 높일 수 있다.