UPRES-A CNRS 6085

Titre : On the Convergence of the Monte Carlo Maximum Likelihood Method for Latent Variable Models

Année : 1999

Référence : Soumis

Mots-clefs : Maximum de vraisemblance, maximisation par Monte Carlo, vraisemblance simulée, approximation stochastique, optimisation stochastique.

Key-words : Maximum Likelihood Estimation, Monte Carlo Maximum Likelihood, Simulated Likelihood Ratio, Stochastic Approximation, Stochastic Optimization.

Classification AMS : 65D30, 65C05, 65C20, 60J07, 60J25.

Résumé :

Nous étudions dans cet article les propriétés asymptotiques du maximum de vraisemblance par Monte-Carlo, qui utillise une égalité d'échantillonnage d'importance pour approcher un rapport de vraisemblance par simulation. Nous établissons des vitesses de convergence (en la taille des observations) de la méthode, montrant en particulier que le point d'initialisation de la méthode doit être un estimateur convergent si on veut éviter des nombres d'itérations qui augmentent exponentiellement avec la taille de l'échantillon.

Abstract :

Monte Carlo Maximum Likelihood (MCML) is a simulation-based approach to likelihood approximation which has been proposed for complex latent variable models, when deterministic optimization procedures such as the Expectation-Maximization approach are not applicable. It is based on an importance sampling identity for the likelihood ratio, where the importance function is the complete model density at a given parameter value $\varphi$. This paper studies the asymptotic performances of the MCML method (in the number of observations $n$) against the choice of $\varphi$ and of the number of simulations $s_n$ used in the importance sampling approximation. We provide sufficient conditions for the MCML estimator to converge to the true value of the parameter with $n$. Our results imply in particular that the initialization parameter $\varphi$ must be a consistent estimate. Otherwise, the number of simulations necessary to attain convergence increases exponentially fast with the sample size