Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2019045758) HUMAN-IN-THE-LOOP INTERACTIVE MODEL TRAINING
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2019/045758 International Application No.: PCT/US2017/054213
Publication Date: 07.03.2019 International Filing Date: 29.09.2017
Chapter 2 Demand Filed: 26.03.2018
IPC:
G06N 3/08 (2006.01) ,G06F 7/00 (2006.01) ,G06F 15/18 (2006.01) ,G06G 7/00 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
N
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3
Computer systems based on biological models
02
using neural network models
08
Learning methods
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
7
Methods or arrangements for processing data by operating upon the order or content of the data handled
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
15
Digital computers in general; Data processing equipment in general
18
in which a programme is changed according to experience gained by the computer itself during a complete run; Learning machines
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
G
ANALOGUE COMPUTERS
7
Devices in which the computing operation is performed by varying electric or magnetic quantities
Applicants:
GOOGLE LLC [US/US]; 1600 Amphitheatre Parkway Mountain View, CA 94043, US
Inventors:
CHEN, Kai; KH
OREN, Eyal; US
YEE, Hector; US
WILSON, James; US
RAJKOMAR, Alvin; US
HARDT, Michaela; US
Agent:
FAIRHALL, Thomas, A.; US
Priority Data:
62/552,08830.08.2017US
Title (EN) HUMAN-IN-THE-LOOP INTERACTIVE MODEL TRAINING
(FR) APPRENTISSAGE DE MODÈLE INTERACTIF À INTERVENTION HUMAINE
Abstract:
(EN) A method is described for training a predictive model which increases the interpretability and trustworthiness of the model for end-users. The model is trained from data having multitude of features. Each feature is associated with a real value and a time component. Many predicates (atomic elements for training the model) are defined as binary functions operating on the features, and typically time sequences of the features or logical combinations thereof. The predicates can be limited to those functions which have human understandability or encode expert knowledge relative to a predication task of the model. We iteratively train a boosting model with input from an operator or human-in-the-loop. The human-in-the-loop is provided with tools to inspect the model as it is iteratively built and remove one or more of the predicates in the model, e.g. if it does not have indicia of trustworthiness, is not causally related to a prediction of the model, or is not understandable. We repeat the iterative process several times ultimately generate a final boosting model. The final model is then evaluated, e.g., for accuracy, complexity, trustworthiness and post-hoc explainability.
(FR) L'invention concerne un procédé d'apprentissage d'un modèle prédictif qui augmente l'intelligibilité et la fiabilité du modèle pour des utilisateurs finaux. Le modèle apprend à partir de données possédant une multitude de caractéristiques. Chaque caractéristique est associée à une valeur réelle et à une composante temporelle. De nombreux prédicats (éléments atomiques destinés à l'apprentissage du modèle) sont définis comme des fonctions binaires fonctionnant sur les caractéristiques, généralement des séquences temporelles des caractéristiques ou leurs associations logiques. Les prédicats peuvent être limités à ces fonctions qui présentent une aptitude à la compréhension humaine ou qui codent des connaissances spécialisées associées à une tâche de prédication du modèle. Un modèle de stimulation apprend de manière itérative à l'aide d'une entrée d'un opérateur ou d'une intervention humaine. L'intervention humaine est pourvue d'outils pour inspecter le modèle à mesure qu'il est construit de manière itérative et pour éliminer un ou plusieurs prédicats dans le modèle, par exemple s'il ne présente pas d'indicateur de fiabilité, s'il n'est pas lié de manière causale à une prédiction du modèle, ou s'il n'est pas compréhensible. La répétition du processus itératif plusieurs fois permet en dernière instance de générer un modèle de stimulation final. Le modèle final est ensuite évalué pour déterminer, par exemple, sa précision, sa complexité, sa fiabilité et son aptitude à l'explication post-hoc.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JO, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)