جادوی حرکت در دنیای ۴ بعدی با گوگل!

    0

     

    گوگل به همراه دانشگاه برکلی از تکنولوژی جدیدی به نام “Shape of Motion for 4D” رونمایی کرده! این روش میتونه با استفاده از ویدیوهای کوتاه ساده، کل صحنه‌های پویا رو به صورت سه‌بعدی و با تمام جزئیات بازسازی کنه. به عبارت دیگه، میتونه کل حرکت‌های موجود تو یه ویدیو رو به صورت سه بعدی و با جزئیات کامل بازسازی کنه. عجب قابلیت ردیابی فوق العاده‌ای! سورس کد این پروژه هم برای عموم علاقه مندان منتشر شده.

    نکات کلیدی:
    نمایش صحنه پویا با روش جدید
    تولید نماهای جدید به صورت لحظه‌ای از ویدیوهای تک‌ی
    ردیابی سه بعدی مداوم برای هر نقطه در هر زمان
    استفاده از قوانین فیزیکی حرکت و داده‌های قبلی برای پیش‌بینی
    دستاورد جدید در زمینه حرکت سه‌بعدی و دو بعدی طولانی‌مدت و تولید نماهای جدید

     

    Input Video

    ۳D Tracks

    Novel View

    Input Video

    ۳D Tracks

    Novel View

    Input Video

    ۳D Tracks

    Novel View

    Input Video

    ۳D Tracks

    Novel View

    Input Video

    ۳D Tracks

    Novel View

     

    ۳D Tracking Comparison

    For each method, we render the video from a novel viewpoint and overlay their predicted 3D tracks onto the novel views. TAPIR + Depth Anything does not produce novel views and we instead overlay their tracks onto our renderings.

    HyperNeRF

    Deformable-3D-GS

    TAPIR + Depth Anything

    Ours

    HyperNeRF

    Deformable-3D-GS

    TAPIR + Depth Anything

    Ours

    HyperNeRF

    Deformable-3D-GS

    TAPIR + Depth Anything

    Ours

     

    Novel View Synthesis Comparison

    HyperNeRF

    Deformable-3D-GS

    Ours

    HyperNeRF

    Deformable-3D-GS

    Ours

     

    ۲D Tracking Comparison

    TAPIR

    Ours

    TAPIR

    Ours

     

    Failure Cases

     

    Fast motion and occlusions are challenging for our method.

     

    Our method relies on off-the-shelf methods, e.g., mono-depth estimation, which can be incorrect.

    Share.
    Leave A Reply