(EN) A method of evaluating performance of a computerized binary event classification system (30) comprises the steps of utilizing an unsupervised database (46) comprising a plurality of recorded data samples each relating to an event of a first kind alternatively a second kind, but wherein it needs not be known to which of the first kind or the second kind any data sample relates. For each sample in the database the system (30) is utilized to map the sample to a decision score (20), to yield a set of scores. The set of scores is modeled with a probabilistic parametric model having a first part being a probability distribution for scores obtained from data samples relating to events of the first kind and a second part being a probability distribution for scores obtained from data samples relating to events of the second kind. The parameters of the probabilistic parametric model are determined to produce a DET curve, to evaluate performance of the system (30), for example by determining estimates of false rejection and false acceptance rates.
(FR) La présente invention concerne un procédé d'évaluation de performance d'un système (30) de classification d'événements binaires informatisé, qui consiste à utiliser une base de données (46) non supervisée comprenant une pluralité d'échantillons de données enregistrés, chacun lié à un événement d'un premier genre ou d'un deuxième genre mais, dans ce procédé, il n'est pas nécessaire de savoir auquel de ces genres un échantillon de données est lié. On utilise ce système (30) pour chaque échantillon de la base de données de façon à établir une correspondance de cet échantillon avec une notation (20) de décision, afin de produire un ensemble de notations. Cet ensemble de notations est modélisé avec un modèle paramétrique de probabilité qui possède une première partie, laquelle est une distribution de probabilité destinée aux notations obtenues des échantillons de données relatifs aux événements du premier genre et une deuxième partie, laquelle est une distribution de probabilité destinée aux notations obtenues des échantillons de données relatifs aux événements du deuxième genre. Les paramètres de ce modèle paramétrique de probabilité sont déterminés de façon à produire une courbe DET, afin d'évaluer la performance du système (30), par exemple par la détermination d'estimations de vitesses de faux rejet et de fausse acceptation.
