Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2017151757) RECURRENT NEURAL FEEDBACK MODEL FOR AUTOMATED IMAGE ANNOTATION
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2017/151757 International Application No.: PCT/US2017/020183
Publication Date: 08.09.2017 International Filing Date: 01.03.2017
IPC:
G06N 3/04 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
04
Architecture, e.g. interconnection topology
Applicants:
THE UNITED STATES OF AMERICA, AS REPRESENTED BY THE SECRETARY, DEPARTMENT OF HEALTH AND HUMAN SERVICES [US/US]; National Institute of Health Office of Technology Transfer 6011 Executive Boulevard, Suite 325, MSC 7660 Bethesda, MD 20852-7660, US
Inventors:
SHIN, Hoo-Chang; US
LU, Le; US
SUMMERS, Ronald, M.; US
Agent:
WILSON, Mark, W.; US
Priority Data:
62/302,08401.03.2016US
Title (EN) RECURRENT NEURAL FEEDBACK MODEL FOR AUTOMATED IMAGE ANNOTATION
(FR) MODÈLE DE RÉTROACTION NEURONALE RÉCURRENTE POUR ANNOTATION D'IMAGE AUTOMATISÉE
Abstract:
(EN) A deep learning model is provided to efficiently detect disease from an image (e.g., an x-ray image) and annotate its contexts. In one example of the disclosed technology, a method of generating an annotation sequence describing an input image includes training a convolutional neural network (CNN) with a series of reference images and associated annotation sequences, training a recurrent neural network (RNN) by initializing the RNN with the trained CNN embedding of the reference image and a first word of an annotation sequence, sampling the CNN and RNN with a reference image, and producing a sequence of annotation describing the image, disease(s) in the image, one or more attributes or contexts. In one examples of the disclosed technology, mean pooling is applied to the state vectors of RNN to obtain a joint image/text context vector summarizing the contexts of image and text annotation.
(FR) L'invention concerne un modèle d'apprentissage profond servant à détecter efficacement une maladie à partir d'une image (par exemple, une image radiographique) et annoter ses contextes. Dans un exemple de la présente invention, un procédé de production d'une séquence d'annotations décrivant une image d'entrée consiste à entraîner un réseau neuronal à convolution (CNN) avec une série d'images de référence et des séquences d'annotation associées, entraîner un réseau neuronal récurrent (RNN) en initialisant le RNN avec l'intégration du CNN entraîné de l'image de référence et un premier mot d'une séquence d'annotation, échantillonner le CNN et le RNN avec une image de référence, et produire une séquence d'annotations décrivant l'image, la ou les maladies dans l'image, et un ou plusieurs attributs ou contextes. Dans un des exemples de la présente invention, un pooling par la moyenne est appliqué aux vecteurs d'état du RNN pour obtenir un vecteur de contexte d'image et de texte joints résumant les contextes d'image et d'annotation textuelle.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)