據(jù)itmedia報(bào)道，微軟MR與AI Lab研究團(tuán)隊(duì)基于頭顯捕獲的頭部和手部追蹤數(shù)據(jù)開發(fā)了“FLAG：Flow-based Avatar Generation from Sparse Observations”解決方案，該方案可實(shí)現(xiàn)以三維形式呈現(xiàn)身體全身運(yùn)動(dòng)。 通常而言，通過HoloLens、Meta Quest等頭顯捕獲的頭部和手部追蹤數(shù)據(jù)由于不能表現(xiàn)人體全身，因此很難生成逼真3D化身。
為此，研究團(tuán)隊(duì)提出了一種基于頭顯信號生成自然人體全身動(dòng)作的全新方案，以解決這一難題。 所述系統(tǒng)具體而言基于流模型解析給定頭部和手部動(dòng)作數(shù)據(jù)，該模型能夠?qū)崿F(xiàn)3D姿勢分布和基礎(chǔ)分布之間的可逆映射。 除了支持3D人體條件分布外，該方案還支持從觀察數(shù)據(jù)到潛在空間的隨機(jī)映射，并從中預(yù)估各種人體關(guān)節(jié)姿勢以生成自然姿勢。 值得一提的是，通過實(shí)驗(yàn)評估和消融研究，該方法優(yōu)于大型運(yùn)動(dòng)捕捉數(shù)據(jù)集AMASS的最新方案，該數(shù)據(jù)集以SMPL人體模型模擬多種全身姿勢，以誤差極低、優(yōu)化較少著稱。 |
