Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018125264) ASSESSING ACCURACY OF A MACHINE LEARNING MODEL
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.: WO/2018/125264 International Application No.: PCT/US2017/014783
Publication Date: 05.07.2018 International Filing Date: 24.01.2017
IPC:
G06Q 10/04 (2012.01)
[IPC code unknown for G06Q 10/04]
Applicants:
GOOGLE LLC [US/US]; 1600 Amphitheatre Parkway Mountain View, California 94043, US
Inventors:
CHEW, Sue Yi; US
CHANDRASEKARAN, Deepak Ramamurthi Sivaramapuram; US
FU, Bo; US
GUPTA, Prachi; US
JAIN, Kunal; US
PRICE, Thomas; US
SINGH, Sarvjeet; US
XIE, Jierui; US
Agent:
KHAN, Shabbi; US
LANZA, John D.; US
Priority Data:
62/440,77430.12.2016US
Title (EN) ASSESSING ACCURACY OF A MACHINE LEARNING MODEL
(FR) ÉVALUATION DE LA PRÉCISION D'UN MODÈLE D'APPRENTISSAGE MACHINE
Abstract:
(EN) Balancing content distribution between a machine learning model and a statistical model provides a baseline assurance in combination with the benefits of a well-trained machine learning model for content selection. In some implementations, a server receiving requests for a content item assigns a first proportion of the received requests to a first group and assigns remaining requests to a second group. The server uses a machine learning model to select variations of the requested content item for responding to requests assigned to the first group and uses a statistical model to select content variations for requests assigned to the second group. The server obtains performance information, e.g., acceptance rates for the different variations, and compares performance of the different models used for content selection. Audience share assigned to the machine learning model is increased when it outperforms the statistical model and decreased when it underperforms the statistical model.
(FR) L'invention concerne l'équilibrage de la distribution de contenu entre un modèle d'apprentissage machine et un modèle statistique qui fournit une assurance de ligne de base en combinaison avec les avantages d'un modèle d'apprentissage machine bien entraîné pour une sélection de contenu. Dans certains modes de réalisation, un serveur recevant des requêtes pour un élément de contenu attribue une première proportion des requêtes reçues à un premier groupe et attribue les requêtes restantes à un second groupe. Le serveur utilise un modèle d'apprentissage machine pour sélectionner des variations de l'élément de contenu demandé en vue de répondre à des requêtes attribuées au premier groupe et utilise un modèle statistique pour sélectionner des variations de contenu pour des requêtes attribuées au second groupe. Le serveur obtient des informations de performance, par exemple des taux d'acceptation pour les différentes variations, et compare les performances des différents modèles utilisés pour la sélection de contenu. Le partage d'audience attribué au modèle d'apprentissage machine augmente lorsqu'il sur-exécute le modèle statistique et diminue lorsqu'il sous-exécute le modèle statistique.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)