Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018119807) DEPTH IMAGE SEQUENCE GENERATION METHOD BASED ON CONVOLUTIONAL NEURAL NETWORK AND SPATIOTEMPORAL COHERENCE
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/119807 International Application No.: PCT/CN2016/112811
Publication Date: 05.07.2018 International Filing Date: 29.12.2016
IPC:
H04N 13/00 (2006.01)
H ELECTRICITY
04
ELECTRIC COMMUNICATION TECHNIQUE
N
PICTORIAL COMMUNICATION, e.g. TELEVISION
13
Stereoscopic television systems; Details thereof
Applicants:
浙江工商大学 ZHEJIANG GONGSHANG UNIVERSITY [CN/CN]; 中国浙江省杭州市 下沙高教园区学正街18号 No.18, Xuezheng Str., Xiasha University Town Hangzhou, Zhejiang 310018, CN
Inventors:
王勋 WANG, Xun; CN
赵绪然 ZHAO, Xuran; CN
Agent:
杭州求是专利事务所有限公司 HANGZHOU QIUSHI PATENT OFFICE CO., LTD.; 中国浙江省杭州市 西湖区玉古路147号黄鸿年科技综合大楼215室刘静 LIU, Jing Room 215, Huanghongnian Science and Technology Complex Building No.147, Yugu Road, Xihu District Hangzhou, Zhejiang 310013, CN
Priority Data:
Title (EN) DEPTH IMAGE SEQUENCE GENERATION METHOD BASED ON CONVOLUTIONAL NEURAL NETWORK AND SPATIOTEMPORAL COHERENCE
(FR) PROCÉDÉ DE PRODUCTION DE SÉQUENCE D'IMAGES DE PROFONDEUR À BASE DE RÉSEAU NEURONAL CONVOLUTIF ET DE COHÉRENCE SPATIOTEMPORELLE
(ZH) 一种基于卷积神经网络的时空一致性深度图序列的生成方法
Abstract:
(EN) A depth image sequence generation method based on a convolutional neural network and spatiotemporal coherence, applicable to 2D-to-3D techniques of video productions. The method comprises: 1) collecting a training set, wherein each training sample in the training set is a continuous RGB image sequence and a depth image sequence corresponding thereto; 2) performing spatiotemporal coherence-based superpixel segmentation on each image sequence in the training set, and constructing a spatial similarity matrix and a temporal similarity matrix; 3) constructing a convolutional neural network composed of a single superpixel-based deep regression network and a spatiotemporal coherence-based conditional random field loss layer; 4) training the convolutional neural network; and 5) for an RGB image sequence having unknown depths, employing the trained convolutional neural network to recover a depth image sequence by means of forward propagation. In this way, the present invention avoids the problem of heavily relying on scenario assumptions in cue-based depth recovery methods, and the problem of inter-frame discontinuity between depth images generated by existing convolutional neural network-based depth recovery methods.
(FR) L'invention concerne un procédé de production de séquence d'images de profondeur basé sur un réseau neuronal convolutif et la cohérence spatiotemporelle, applicable à des techniques de passage de 2D à 3D de productions vidéos. Le procédé comprend les étapes suivantes : 1) recueillir un ensemble d'apprentissage, chaque échantillon d'apprentissage dans l'ensemble d'apprentissage étant une séquence d'images RVB continue et une séquence d'images de profondeur correspondant à celle-ci ; 2) effectuer une segmentation en superpixels basée sur la cohérence spatiotemporelle sur chaque séquence d'images dans l'ensemble d'apprentissage, et construire une matrice de similarité spatiale et une matrice de similarité temporelle ; 3) construire un réseau neuronal convolutif composé d'un réseau de régression profond basé sur un superpixel unique et d'une couche de perte à champ aléatoire conditionnel basé sur la cohérence spatiotemporelle ; 4) entraîner le réseau neuronal convolutif ; et 5) pour une séquence d'images RVB ayant des profondeurs inconnues, utiliser le réseau neuronal convolutif entraîné pour récupérer une séquence d'images de profondeur grâce à une propagation vers l'avant. De cette manière, la présente invention évite le problème de la forte dépendance envers des hypothèses de scénario dans des procédés de récupération de profondeur à base de repères, et le problème de la discontinuité entre trames entre des images de profondeur produite par des procédés de récupération de profondeur à base de réseau neuronal convolutif existants.
(ZH) 一种基于卷积神经网络的时空一致性深度图序列的生成方法,可用于影视作品2D转3D技术。该方法包括:1)收集训练集:训练集的每一个训练样本是一个连续RGB图像序列以及其对应的深度图序列;2)对训练集中的每一个图像序列进行时空一致性超像素分割,并且构建空间相似度矩阵和时间相似度矩阵;3)构建由单一超像素深度回归网络以及时空一致性条件随机场损失层构成的卷积神经网络;4)对卷积神经网络进行训练;5)对未知深度的RGB图像序列,使用训练好的神经网络通过前向传播恢复深度图序列。避免了基于线索的深度恢复方法对场景假设依赖过强,以及现有基于卷积神经网络的深度恢复方法生成的深度图帧间不连续的问题。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)