중국 bilibili 개발팀, 애니메이션 자동 생성 AI 툴 AniSora 발표
1
2
3
4
5
6
기사 원문 :https://gigazine.net/news/20250519-anisora/
오픈 소스로 애니메이션 영상을 자동 생성할 수 있는 AI 툴 「AniSora」를 중국 bilibili의 개발팀이 발표
중국의 영상 공유 서비스 bilibili의 팀이, 1장의 이미지로부터 애니메이션을 작성하는 AI 툴 「AniSora」를 발표했습니다.
Try AniSora: The Ultimate Anime Video Generation Modelhttps://komiko.app/ko/video/AniSoraIndexTeam/Index-anisora · Hugging Facehttps://huggingface.co/IndexTeam/Index-anisoraAniSora: Exploring the Frontiers of Animation Video Generation in the Sora Erahttps://arxiv.org/html/2412.10255v2
AniSora는 bilibili가 개발한 오픈 소스 애니메이션 영상 생성 모델로 공식 사이트에는 「AniSora는 Index-AniSora 프로젝트의 일환으로서, bilibili가 애니계에 선사하는 오픈 소스의 선물입니다. AniSora는, 시리즈 작품, 중국 오리지널 애니메이션, 만화, VTuber 컨텐츠, 애니메이션 PV 등, 폭넓은 스타일에 대응해 원클릭의 무비 작성을 가능하게 합니다」라고 기재되어 있습니다.
AniSora의 페이지는 아래와 같은 느낌. AniSora는 애니·만화계의 AI 플랫폼인 Komiko(https://komiko.app/ko/)에 포함되어 있습니다. 또한, Komiko에는 회원가입만으로 무료로 사용할 수 있는 AI 툴도 있지만, AniSora의 사용에는 유료 플랜의 등록이 필요합니다.
AniSora를 사용하기 위해서는, 애니메이션으로 만들고 싶은 이미지를 업로드해서 프롬프트를 입력하고, AI 모델로부터 「AniSora」를 선택. 이것만으로 눈 깜짝할 사이에 이미지로부터 애니메이션을 작성할 수 있습니다.
Komiko에서는, AniSora의 사용 예시가 몇 가지 표시되어 있습니다. 예를 들어 아래는, 달리며 이동하고 있는 애니 이미지(왼쪽)로부터, 「인물이 빠른 속도로 전방으로 달리며, 속도로 인해 살짝 흐리게 보인다」는 프롬프트로, 손발을 흔들며 달리는 캐릭터의 무비(https://komiko.app/images/pages/anisora/example3.webm)가 생성됐습니다.
또, 아래의 작례에서는 3D 모델의 캐릭터들의 이미지로부터, 춤을 이어서 추는 무비(https://komiko.app/images/pages/anisora/example2.webm)가 생성됐습니다. 프롬프트에서는 「카메라가 줌인하는 중, 5명의 여자아이가 왼손을 머리 위로 올리고, 무릎 높이까지 내리면서 춤을 추고 있습니다」라고 지정하였으며, 무비에서는 실제로 캐릭터들뿐만 아니라 카메라도 천천히 움직이고 있습니다.
그 외에, 아래와 같이 만화 컷으로부터 입뻥끗과 캐릭터의 움직임을 만듦(https://komiko.app/images/pages/anisora/example4.webm)으로써, 애니메이션 만화도 작성 가능.
AniSora는 오픈 소스의 프로젝트로, Hugging Face(https://huggingface.co/IndexTeam/Index-anisora)와 GitHub(https://github.com/bilibili/Index-anisora)에서 상세 내용이 공개되어 있습니다.
bilibili 팀에 의하면, AI 시장에는 이미 자연스러운 영상 생성 모델이 여러 개 존재하긴 하지만, 애니메이션 분야에서는 독자적인 스타일과 과장된 움직임, 물리 법칙을 무시한 표정 등 영상 생성에 있어서 큰 과제가 있어, 여전히 기술이 불충분하다고 합니다. AniSora는 1000만을 넘는 고품질 데이터 샘플을 모델 트레이닝에 사용한 후, 제어 가능한 생성 모델을 도입함으로써, 이미지로부터 영상으로의 작성, 프레임 보간, 로컬 이미지 가이던스 등, 여러 주요 애니메이션 제작 기능을 지원하고 있습니다.
bilibili는 오픈 소스의 프로젝트이지만, GitHub와 논문에서 공개되어 있는 샘플에는 일본의 애니 작품의 일부분(切り抜き)과 캐릭터가 사용되어 있으므로, 사용법에는 주의가 필요합니다.