(EN) Provided in the present invention is a real-time online construction method for a dynamic three-dimensional Gaussian human head model. By means of the method, batches of three-dimensional Gaussian rendering is performed, so that the training throughput is greatly improved, and a model achieves an almost real-time convergence rate; in addition, a local-global combined data sampling algorithm applicable to online modeling is designed, wherein newly inputted training samples are rapidly fitted by means of local sampling, and global sampling is used to alleviate the problem of model forgetting, thereby achieving a reconstruction quality similar to that of offline modeling. Compared with conventional methods, the present invention implements real-time online construction of a three-dimensional Gaussian face model without any preprocessing or post-processing. In addition, online modeling can acquire data and also provide real-time feedback to users, thereby providing a better user experience. After reconstruction, the model can be used for synthesizing high-fidelity human head animations with new expressions; and the present invention can be widely applied in film and animation production, online games and remote conferences.
(FR) La présente invention concerne un procédé de construction en ligne en temps réel pour un modèle de tête humaine gaussienne tridimensionnelle dynamique. Au moyen du procédé, des lots de rendu gaussien tridimensionnel sont effectués, de telle sorte que le débit d'apprentissage est considérablement amélioré, et un modèle atteint un taux de convergence presque en temps réel ; de plus, un algorithme d'échantillonnage de données combiné local-global applicable à une modélisation en ligne est conçu, des échantillons d'apprentissage nouvellement entrés étant rapidement ajustés au moyen d'un échantillonnage local, et un échantillonnage global étant utilisé pour atténuer le problème d'oubli de modèle, ce qui permet d'obtenir une qualité de reconstruction similaire à celle de la modélisation hors ligne. Par comparaison avec des procédés classiques, la présente invention met en œuvre un modèle de visage gaussien tridimensionnel sans aucun prétraitement ou post-traitement. De plus, une modélisation en ligne peut acquérir des données et fournir également une rétroaction en temps réel à des utilisateurs, ce qui permet d'obtenir une meilleure expérience utilisateur. Après reconstruction, le modèle peut être utilisé pour synthétiser des animations de tête humaine haute fidélité avec de nouvelles expressions ; et la présente invention peut être largement appliquée dans la production de film et d'animation, de jeux en ligne et de conférences à distance.
(ZH) 本发明提出了一种人体头部动态三维高斯模型的实时在线构建方法。该方法是通过三维高斯的批量渲染，能够大大提高训练吞吐量，使得模型达到几乎实时的收敛速率；另外设计了一种适用于在线建模的局部-全局结合的数据样本采样算法，通过局部采样快速拟合新输入的训练样本，并使用全局采样缓解模型遗忘问题，从而达到与离线建模相近的重建质量。相比于之前的方法，本发明不需要任何预处理或后处理就可以实时在线构建三维高斯人脸模型。另外，在线建模可以在数据获取的同时给用户提供实时反馈，能够提供更好的用户体验。在重建后，模型即可用于合成新表情下的高保真人体头部动画；在电影、动画制作，网络游戏以及远程会议中可以广泛应用。