더 완벽한 예술 | 《시그라프(SIGGRAPH)2023》

시그라프(SIGGRAPH)란 ‘Special Interest Group on Graphic(s) and Interactive Techniques’의 약자로 컴퓨터 그래픽스^➀ 분야의 최대 규모를 자랑하는 컨퍼런스다.

오늘날 시각 디자인 분야에서 어도비 프로그램들을 따로 떼어 놓을 수 있을까. 어도비와 같은 그래픽 프로그램이 개발되면 이곳 시그라프(SIGGRAPH)에서 먼저 만나볼 수 있다. 시각디자인학과 학생들에게 개발 콘퍼런스는 다소 생소할 수 있다. 그래픽 디자인 프로그램을 사용하지만, 그 프로그램이 어떻게 만들어지는지에 대해 자세히 알기는 어렵다. 시그라프는 유력 기업들이 신기술을 발표하는 장이다. 우리에게 익숙한 어도비를 포함해 컴퓨터 그래픽 카드 회사 엔비디아, 애니메이션 제작사 픽사, 소니 등 규모가 큰 회사들이 참가한다.

2023년 8월 6일부터 8월 10일까지 로스앤젤레스 컨벤션 센터에서 시그라프 컨퍼런스가 열렸다. 현재 그래픽 시장을 뒤흔든 ‘AI’를 주제로 많은 기업들이 컨퍼런스를 펼쳤다. AI를 활용할 수 있는 프로그램에 대해 집중하고 있는 시대에 시그라프는 기술을 발표하며 일반인들에게 직접 체험할 수 있게 해준다. 이 글은 시그라프 2023 컨퍼런스 발표 내용 중 영-시의 독자들이 흥미를 가질만한 주제들을 발췌해 정리한 글이다. 또한, 로스앤젤레스 컨벤션 센터를 직접 방문하기에는 많은 어려움이 따르기 때문에 발표 원문을 참고해 글을 작성했음을 밝힌다.

AI로 만들어진 엘리멘탈의 앰버

원소들을 캐릭터화하여 만든 도시 엘리멘탈. 엘리멘탈에 살고 있는 여주인공 앰버는 원소 중 불 속성의 캐릭터다. 앰버가 만들어지기까지의 과정 중 불꽃 애니메이션은 딥 러닝(Deep Learning)로 만들어졌다. 딥 러닝은 예시로 삼을 이미지를 제작해 프로그램에게 학습시킨 다음, 새로운 이미지를 만들어내는 머신 러닝의 한 종류이다.

앰버를 위해 사용한 이 방법은 이미지를 학습시켜 시뮬레이션 영상을 만들 수 있는 NST(Neutral Style Transfer)라는 기술이다. NST란 콘텐츠 이미지와 스타일 이미지를 혼합해 스타일 이미지의 이미지 구현 방식을 모방해 콘텐츠 이미지를 재구성하는 방식이다.

이미지 맨 위에 있는 앰버의 초기 시안들은 픽사가 자체적으로 제작한 불꽃 효과를 사용했다. 초기의 불꽃 효과들은 배경이나 특수효과에 사용하는 실사 이미지에 가까웠다. 캐릭터의 모양을 일관성 있게 유지하기 힘들었고, 특히 캐릭터의 표정과 감정을 충분히 전달하지 못했다. 이러한 문제를 해결하기 위해 픽사는 새로운 시도를 했다.

앰버의 모델링에 위와 같은 4개의 이미지를 학습시켜 새로운 이미지를 구현했다. NST 기술을 적용한 영화 속 앰버는 불꽃이 자연스럽게 휘날리면서도 캐릭터 본연의 형태를 유지할 수 있었다.

3D에 2D를 입힌 <스파이더맨: 어크로스 더 유니버스>

<스파이더맨: 어크로스 더 유니버스>와 이전 스파이더맨 애니메이션 시리즈의 차이점은 더 화려해진 액션과 페인팅에 가까운 그래픽 표현이다. 이러한 스타일은 자극적이며 스케치와 실사가 겹쳐 이질적으로 느껴질 수 있지만 스파이더맨 제작 아티스트의 기량과 기존의 3D 구성을 침범하지 않는 선으로 제작되어 사람들에게 신선하며 재미있는 그래픽이 되었다.

<스파이더맨: 어크로스 더 유니버스>에서는 위의 사진과 같이 스타일라이즈한 효과와 속도감이 느껴지는 스케치 레이어를 그린 뒤 머신러닝(Machine learning)을 적용시켜 만들어진 애니메이션을 하나로 겹쳤다. 머신러닝이란 영상 이미지 A, C, E의 앵글을 제작한 뒤 AI에게 학습시켜 사이의 이미지 B, D를 만들어내는 형식이다.

스파이더맨의 영화 특성 상 액션이 많아 움직임이 빠른 모션인 경우 움직임에 의해 라인이 망가지는 현상이 일어나는데 이것을 ‘스콰시 앤 스트레치(Squash & Stretch)’라 부르며 이 효과를 애니메이션에서 직접 그리기엔 시간적 한계가 있었다. 스파이더맨은 머신러닝 기술을 적용하여 아티스트의 독특한 스타일이 유지된 채 빠른시간에 애니메이션을 제작할 수 있었다.

얼굴에 있는 라인은 매우 섬세해 머신러닝을 함께 적용했다. 다양한 카메라 앵글에서 라인 워크가 자동으로 생성되게 만들어지며, 만들어진 라인을 아티스트가 세밀하게 수정하는 방법으로 진행하여 정해진 시간에 완성도를 높일 수 있었다.

애니메이션의 마지막 시리즈인 <스파이더맨: 비욘드 더 유니버스>에 또 어떤 신기술들을 적용할지 기대가 된다.

AI 기술을 사용한 창작 활동은 나쁜 것일까?

최근 AI를 활용한 작업들이 점점 많아지고 있다. ‘기계가 만든 그림이 윤리적일까?’라는 질문에 ‘더 다양한 그래픽 표현을 만들어 낼 수 있다’는 긍정적 의견과 ‘AI가 저작권이 있는 작품들을 무단으로 학습해 데이터를 쌓기 때문에 도둑질과 같다’고 말하는 부정적 의견이 서로 상충되고 있다. 이 글에서 소개한 소니와 픽사의 영화들은 AI 기술이 애니메이션에 자연스럽게 융화돼 더 스타일리시하고 완성도 있는 결과물을 만들어낸 사례들이다. 여기서 주목해야 할 것은 AI가 아티스트들의 개성을 그대로 받아들이면서 더 발전된 그래픽 표현을 제시한다는 점이다.

개발자의 기술로 더 완벽한 예술을 보여주는 시그라프다.

➀ 컴퓨터 그래픽스: 컴퓨터를 이용해 실제 세계의 영상을 조작하거나 새로운 영상을 만들어내는 기술

참고 자료

글. 조다은 2024.02.07.