Loading...
 
[Show/Hide Left Column]

Sujets Help

Print History View Items
No Tabs
ViewCommentsAttachments (0)

View Item

Domain Natural Language Speech and Audio Processing
Domain - extra
Year 2014
Starting Décembre
Status Open
Subject Modèles neuronaux pour le traitement automatique des langues
Thesis advisor ALLAUZEN Alexandre
Co-advisors
Laboratory LIMSI TLP
Collaborations
Abstract Les réseaux de neurones artificiels occupent une place de plus en grande dans le paysage de l'apprentissage automatique en général et en particulier pour le traitement automatique des langues.
L'objectif de la thèse est de développer des nouveaux modèles dont le principe consiste à projeter les mots dans un espace de représentation continu afin d'y estimer les probabilités. L'hypothèse est que les mots similaires auront des projections voisines et donc des distributions proches. La projection et l'estimation se font conjointement à l'aide d'un réseau de neurones appris automatiquement. Cette approche a donné des résultats prometteurs dans un cadre monolingue, nous proposons de l'étendre à la traduction automatique selon trois axes: l'apprentissage de modèles capables de mieux prendre en compte la structure syntaxique, l'amélioration des algorithmes d'estimation, et l'adaptation des modèles.
Context Historiquement, les modèles n-grammes de langue neuronaux furent une des premières applications marquantes en reconnaissance automatique de la parole. Ces modèles ont été également appliqués à d'autres tâches complexes de modélisation comme par exemple l'analyse syntaxique, l'estimation de similarité sémantique, les modèles d'alignement bilingue de mots ou encore en traduction automatique statistique. Par opposition aux modèles discrets qui dominent encore, les modèles de langue neuronaux se caractérisent par la représentation des mots dans un espace continu, où chaque mot du vocabulaire est représenté comme un point dans un espace métrique. Ces représentations sont apprises par un réseau de neurones multi-couche conjointement avec les paramètres liés à la tâche de prédiction considérée. Ce type de modèle introduit la notion de similarité entre mots, via les représentations continues, permettant ainsi une meilleure exploitation des données textuelles.
Objectives Depuis peu, une nouvelle méthode d'estimation est envisagée qui
s'appuie les réseaux de neurones multi-couches. Le principe consiste à
projeter les mots dans un espace de représentation continu puis à
estimer les probabilités dans cet espace. L'hypothèse sous-jacente est
que les mots similaires auront des projections voisines et donneront
donc lieu a des distributions proches. La projection et l'estimation
se font conjointement à l'aide d'un unique réseau de neurones appris
automatiquement. Les progrès récents de cette approche neuronale
permettent désormais d'appliquer ces modèles à des tâches à grand
vocabulaire (> 100000 mots) et d'utiliser des données d'apprentissage
en grande quantité. L'objectif de la thèse est de développer de
nouveaux modèles continus qui permettront de saisir les différentes
dimensions linguistiques du langage dans une perspective de traduction
automatique.
Work program Trois axes sont envisagés. Le premier axe concerne l'introduction
explicite d'information syntaxique dans les modèles de langues neuronaux. Des
travaux récents ont envisagé l'analyse syntaxique par le biais de
réseaux de neurones récurrents. L'objectif de cet axe est donc
d'étudier cette approche et de l'étendre au cadre multilingue. Le
second axe s'intéresse aux stratégies d'apprentissage novatrices et
appropriées à ce type de modèle contenant un grand nombre de
paramètres: une nouvelle méthode émerge dans ce domaine (Noise Contrastive Estimation), une piste serait d'explorer l'application de cette méthode aux modèles de traduction;
une autre manière d'appréhender ce problème est de s'intéresser à la
fonction optimisée lors de l'apprentissage des paramètres. Enfin, le
troisième axe est celui de l'adaptation, dans lequel on souhaite
spécialiser un modèle général pour le rendre plus à même de
représenter les distributions de mots dans un domaine de spécialité.
Extra information
Prerequisite Master 2 Recherche ou équivalent en informatique, avec une spécialisation en
traitement automatique des langues, traitement automatique de la parole ou
apprentissage automatique.
Details
Expected funding Institutional funding
Status of funding Expected
Candidates
user alexandre.allauzen
Created Tuesday 10 of April, 2012 18:19:25 CEST
LastModif Friday 07 of March, 2014 10:58:16 CET


Ecole Doctorale Informatique Paris-Sud

Directrice
Nicole Bidoit
Assistante
Stéphanie Druetta
Conseiller aux thèses
Dominique Gouyou-Beauchamps
ED 427 - Université Paris-Sud
UFR Sciences Orsay
Bat 650 - aile nord - 417
Tel : 01 69 15 63 19
Fax : 01 69 15 63 87
courriel: ed-info at lri.fr