WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2017176563) EVALUATING THE EVALUATION BEHAVIORS OF EVALUATORS
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2017/176563    International Application No.:    PCT/US2017/025227
Publication Date: 12.10.2017 International Filing Date: 31.03.2017
IPC:
G06Q 30/02 (2012.01)
Applicants: MICROSOFT TECHNOLOGY LICENSING, LLC [US/US]; Attn: Patent Group Docketing (Bldg. 8/1000) One Microsoft Way Redmond, Washington 98052-6399 (US)
Inventors: ZITOUNI, Imed; (US).
AWADALLAH, Ahmed; (US).
WETHINGTON, Bradley Paul; (US).
CROOK, Aidan C.; (US)
Agent: MINHAS, Sandip; (US).
CHEN, Wei-Chen Nicholas; (US).
DRAKOS, Katherine J.; (US).
KADOURA, Judy M.; (US).
HOLMES, Danielle J.; (US).
SWAIN, Cassandra T.; (US).
WONG, Thomas S.; (US).
CHOI, Daniel; (US)
Priority Data:
62/320,373 08.04.2016 US
15/218,968 25.07.2016 US
Title (EN) EVALUATING THE EVALUATION BEHAVIORS OF EVALUATORS
(FR) EVALUATION DES COMPORTEMENTS D'ÉVALUATION D'ÉVALUATEURS
Abstract: front page image
(EN)Systems and methods for evaluating the evaluation behaviors of an evaluator are presented. In contrast to evaluation methods that monitor and analyze click behaviors, the disclosed subject matter is directed to evaluating non-click behaviors. After obtaining results of an evaluation request submitted to a response service for evaluation by the evaluator, evaluation behaviors of the evaluator are monitored. The monitored evaluation behaviors are in association with an evaluation of the obtained results and one or more heuristics or rules are applied to the monitored evaluation behaviors to determining whether the monitored evaluation behaviors are within predetermined quality thresholds. If the monitored evaluation behaviors are not within the predetermined quality thresholds, the monitored evaluation behaviors are flagged as anomalous evaluation behaviors.
(FR)L'invention concerne des systèmes et des procédés destinés à évaluer les comportements d'évaluation d'un évaluateur. Contrairement aux procédés d'évaluation qui observent et analysent des comportements de clics, l'invention a pour objet d'évaluer les comportements sans clics. Après avoir obtenu des résultats d'une demande d'évaluation soumise à un service de réponse à des fins d'évaluation par l'évaluateur, des comportements d'évaluation de l'évaluateur sont observés. Les comportements d'évaluation observés sont associés à une évaluation des résultats obtenus et une ou plusieurs heuristiques ou règles sont appliquées aux comportements d'évaluation observés pour déterminer si les comportements d'évaluation observés se situent à l'intérieur de seuils de qualité prédéterminés. Si les comportements d'évaluation observés ne se situent pas à l'intérieur des seuils de qualité prédéterminés, les comportements d'évaluation observés sont repérés en tant que comportements d'évaluation anormaux.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: English (EN)
Filing Language: English (EN)