گوگل به همراه دانشگاه برکلی از تکنولوژی جدیدی به نام “Shape of Motion for 4D” رونمایی کرده! این روش میتونه با استفاده از ویدیوهای کوتاه ساده، کل صحنه‌های پویا رو به صورت سه‌بعدی و با تمام جزئیات بازسازی کنه. به عبارت دیگه، میتونه کل حرکت‌های موجود تو یه ویدیو رو به صورت سه بعدی و با جزئیات کامل بازسازی کنه. عجب قابلیت ردیابی فوق العاده‌ای! سورس کد این پروژه هم برای عموم علاقه مندان منتشر شده.
نکات کلیدی:
نمایش صحنه پویا با روش جدید
تولید نماهای جدید به صورت لحظه‌ای از ویدیوهای تک‌ی
ردیابی سه بعدی مداوم برای هر نقطه در هر زمان
استفاده از قوانین فیزیکی حرکت و داده‌های قبلی برای پیش‌بینی
دستاورد جدید در زمینه حرکت سه‌بعدی و دو بعدی طولانی‌مدت و تولید نماهای جدید
Input Video
3D Tracks
Novel View
Input Video
3D Tracks
Novel View
Input Video
3D Tracks
Novel View
Input Video
3D Tracks
Novel View
Input Video
3D Tracks
Novel View
3D Tracking Comparison
For each method, we render the video from a novel viewpoint and overlay their predicted 3D tracks onto the novel views. TAPIR + Depth Anything does not produce novel views and we instead overlay their tracks onto our renderings.
HyperNeRF
Deformable-3D-GS
TAPIR + Depth Anything
Ours
HyperNeRF
Deformable-3D-GS
TAPIR + Depth Anything
Ours
HyperNeRF
Deformable-3D-GS
TAPIR + Depth Anything
Ours
Novel View Synthesis Comparison
HyperNeRF
Deformable-3D-GS
Ours
HyperNeRF
Deformable-3D-GS
Ours
2D Tracking Comparison
TAPIR
Ours
TAPIR
Ours
Failure Cases
Fast motion and occlusions are challenging for our method.
Our method relies on off-the-shelf methods, e.g., mono-depth estimation, which can be incorrect.