월드모델을 통한 Latent Diffusion Model 예측 고도화

Abstract

인간 동작 예측은 자율 시스템부터 몰입형 가상 환경에 이르기까지 다양한 응용 분야에서 필수적인 요소이다. 그러나 기존 대부분의 모델은일상적인 동작 예측에 초점을 맞추고 있어, 스포츠, 가상현실(VR), 보조 로보틱스 등과같은 역동적이고 표현력 있는 상황에서는 효과가 제한적이다. 이러한한계를 해결하기 위해, 본 연구는 클래스 내 변동이 크고고에너지 동작을 포함하는 LaFAN 데이터셋을 대상으로 한다. 우리는다음의 세 가지 핵심 아이디어를 결합한 새로운 프레임워크를 제안한다: (1) 시간적 일관성을 향상시키기 위한 LDM, (2) 안정적인장기 예측을위한 강화학습 기반 접근법, (3) 노이즈 최적화를 위한 double sampling 연구 결과, 제안하는 모델은 사실적이고 일관된 동작 시퀀스를 생성하였으며, 복잡하고 표현력 있는 동작 예측을위한 높은 가능성을입증하였다

Human motion prediction is essential for applications ranging from autonomous systems to immersive virtual environments. However, most existing models focus on everyday motion, limiting their effectiveness in dynamic, expressive contexts like sports, VR, and assistive robotics. To address this, we target the LaFAN dataset, which captures high-energy movements with significant intra-class variation. We propose a novel framework combining three ideas: (1) a latent diffusion model for improved temporal consistency, (2) a reinforcement learning approach for stable long-term prediction, and (3) a robust noise optimization strategy to counter diffusion sampling noise. Experiments show our model produces realistic, coherent motion sequences, highlighting its potential for complex and expressive motion prediction.