روز جمعه، محققان از NVIDIA Magic3D اعلام کرد - یک مدل هوش مصنوعی که می تواند مدل های سه بعدی را از توضیحات متنی تولید کند. Magic3D پس از وارد کردن سرنخی مانند "قورباغه دارت سمی آبی که روی نیلوفر آبی نشسته است" یک مدل مش سه بعدی کامل با بافت رنگی را در حدود 3 دقیقه تولید می کند. با تغییراتی، مدل به دست آمده را می توان در بازی های ویدیویی یا صحنه های هنری با فرمت CGI استفاده کرد.
در مقاله علمی خود NVIDIA Magic3D را پاسخی به DreamFusion می‌بیند، مدل تبدیل متن به سه بعدی که محققان گوگل در ماه سپتامبر اعلام کردند. همانطور که DreamFusion از یک مدل متن به تصویر برای ایجاد یک تصویر 3 بعدی استفاده می کند که سپس به داده های حجمی NeRF (میدان تابش عصبی) بهینه می شود، Magic2D از یک فرآیند دو مرحله ای استفاده می کند که یک مدل ناهموار ایجاد شده با وضوح پایین را انتخاب می کند و آن را بهینه می کند. وضوح بالاتر به گفته نویسندگان مقاله، روش Magic3D حاصل می تواند اشیاء سه بعدی را دو برابر سریعتر از DreamFusion تولید کند.
Magic3D همچنین می‌تواند در حال ویرایش مش‌های سه بعدی را انجام دهد. با یک مدل سه بعدی با وضوح پایین و یک راهنمای ابزار اصلی، می توانید متن را برای تغییر مدل به دست آمده تغییر دهید. Magic3D همچنین حفظ یک طرح را در طول چندین نسل (مفهومی که اغلب انسجام نامیده می شود) و استفاده از یک سبک تصویر دو بعدی (مانند نقاشی کوبیست) در یک مدل سه بعدی را نشان می دهد.
NVIDIA هیچ کد Magic3D را با کار تحقیقاتی خود منتشر نکرد.
به نظر می رسد توانایی تولید سه بعدی از متن یک تکامل طبیعی در مدل های انتشار مدرن است که از شبکه های عصبی برای ترکیب محتوای جدید پس از آموزش فشرده روی مجموعه ای از داده ها استفاده می کنند. تا اینکه در سال 3 شاهد ظهور مدل‌های قدرتمند تبدیل متن به تصویر مانند DALL-E و Stable Diffusion و همچنین تولیدکننده‌های ابتدایی تبدیل متن به ویدیو از گوگل و متا بودیم.
در مورد Magic3D، محققان امیدوارند که به هر کسی اجازه دهد بدون نیاز به آموزش خاص، مدل‌های سه بعدی ایجاد کند. پس از اصلاح، فناوری حاصل می‌تواند توسعه بازی‌های ویدیویی (و واقعیت مجازی) را تسریع کند و در نهایت در جلوه‌های ویژه فیلم و تلویزیون استفاده شود. آنها در پایان مقاله خود می نویسند: "امیدواریم با Magic3D بتوانیم سنتز سه بعدی را دموکراتیک کنیم و پتانسیل خلاقانه همه را در ایجاد محتوای سه بعدی باز کنیم."
شما می توانید به اوکراین در مبارزه با مهاجمان روسی کمک کنید. بهترین راه برای انجام این کار، کمک مالی به نیروهای مسلح اوکراین است Savelife یا از طریق صفحه رسمی NBU.
همچنین بخوانید:
پاسخ دهید