Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020069387 - AUTOMATIC NAVIGATION OF INTERACTIVE WEB DOCUMENTS

Publication Number WO/2020/069387
Publication Date 02.04.2020
International Application No. PCT/US2019/053569
International Filing Date 27.09.2019
IPC
G06F 17/24 2006.01
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
17Digital computing or data processing equipment or methods, specially adapted for specific functions
20Handling natural language data
21Text processing
24Editing, e.g. insert/delete
CPC
G06F 40/174
GPHYSICS
06COMPUTING; CALCULATING; COUNTING
FELECTRIC DIGITAL DATA PROCESSING
40Handling natural language data
10Text processing
166Editing, e.g. inserting or deleting
174Form filling; Merging
Applicants
  • GOOGLE LLC [US]/[US]
Inventors
  • FAUST, Aleksandra
  • HAKKANI-TUR, Dilek
  • GUR, Izzeddin
  • RUECKERT, Ulrich
Agents
  • SHUMAKER, Brantley
  • MIDDLETON REUTLINGER
  • HIGDON, Scott
  • SALAZAR, John
  • CUMMINS, Patrick
Priority Data
62/737,84327.09.2018US
Publication Language English (EN)
Filing Language English (EN)
Designated States
Title
(EN) AUTOMATIC NAVIGATION OF INTERACTIVE WEB DOCUMENTS
(FR) NAVIGATION AUTOMATIQUE DE DOCUMENTS WEB INTERACTIFS
Abstract
(EN)
The present disclosure is generally directed to methods, apparatus, and computer-readable media (transitory and non-transitory) for learning to automatically navigate interactive web documents and/or websites. More particularly, various approaches are presented for training various deep Q network (DQN) agents to perform various tasks associated with reinforcement learning, including hierarchical reinforcement learning, in challenging web navigation environments with sparse rewards and large state and action spaces. These agents include a web navigation agent that can use learned value function(s) to automatically navigate through interactive web documents, as well as a training agent, referred to herein as a "meta-trainer," that can be trained to generate synthetic training examples. Some approaches described herein may be implemented when expert demonstrations are available. Other approaches described herein may be implemented when expert demonstrations are not available. In either case, dense, potential-based rewards may be used to augment the training.
(FR)
La présente invention concerne de manière générale des procédés, un appareil et des supports lisibles par ordinateur (transitoires et non transitoires) d'apprentissage pour naviguer automatiquement sur des documents Web et/ou des sites Web interactifs. Plus particulièrement, diverses approches sont présentées pour entraîner divers agents de réseau Q profond (DQN) à effectuer diverses tâches associées à un apprentissage par renforcement, comprenant un apprentissage par renforcement hiérarchique, dans des environnements de navigation Web difficiles avec des récompenses éparses et des espaces d'action et d'état importants. Ces agents comprennent un agent de navigation Web qui peut utiliser une ou plusieurs fonctions de valeur apprises pour naviguer automatiquement à travers des documents Web interactifs, ainsi qu'un agent d'apprentissage, désigné ici par "dispositif de méta-apprentissage", qui peut être entraîné pour générer des exemples d'apprentissage synthétique. Certaines approches décrites dans la présente invention peuvent être mises en œuvre lorsque des démonstrations d'expert sont disponibles. D'autres approches décrites dans la présente invention peuvent être mises en œuvre lorsque des démonstrations d'expert ne sont pas disponibles. Dans les deux cas, des récompenses éparses basées sur le potentiel peuvent être utilisées pour augmenter l'apprentissage.
Latest bibliographic data on file with the International Bureau