Intelligence Artificielle Non classé

Définition Reccurent Neural Networks

Reccurent Neural Networks

⌚: 4 minutes

Un Reccurent Neural Networks (RNN) est un type de réseau neuronal artificiel couramment utilisé dans la reconnaissance vocale et le traitement du langage naturel (NLP). Les RNN sont conçus pour reconnaître les caractéristiques séquentielles d’une donnée et les schémas d’utilisation pour prédire le prochain scénario probable.

Les Reccurent Neural Networks sont utilisés dans l’apprentissage approfondi (deep learning )et dans le développement de modèles qui simulent l’activité des neurones dans le cerveau humain. Ils sont particulièrement puissants dans les cas où le contexte est essentiel pour prédire un résultat et se distinguent des autres types de réseaux neuronaux artificiels car ils utilisent des boucles de rétroaction pour traiter une séquence de données qui informe la sortie finale, qui peut également être une séquence de données . Ces boucles de rétroaction permettent à l’information de persister ; l’effet est souvent décrit comme une mémoire.

Les cas d’utilisation des Reccurent Neural Networks ont tendance à être liés à des modèles de langage dans lesquels la connaissance de la lettre suivante dans un mot ou du mot suivant dans une phrase est basée sur les données qui la précèdent. Une expérience convaincante implique un RNN formé aux travaux de Shakespeare pour produire une prose de type shakespearien — avec succès. L’écriture par les RNN est une forme de créativité informatique. Cette simulation de la créativité humaine est rendue possible par la compréhension de la grammaire et de la sémantique que l’IA a apprise grâce à son ensemble de formation.

Comment les Reccurent Neural Networks apprennent

Les réseaux neuronaux artificiels sont créés avec des composants de traitement de données interconnectés qui sont conçus de manière à fonctionner comme le cerveau humain. Ils sont composés de couches de neurones artificiels (nœuds de réseau) qui ont la capacité de traiter les données d’entrée et de transmettre les données de sortie aux autres nœuds du réseau. Les nœuds sont reliés par des bords ou des poids qui influencent la force d’un signal et la sortie finale du réseau.

Dans certains cas, les réseaux de neurones artificiels traitent les informations dans une seule direction, de l’entrée à la sortie. Ces réseaux neuronaux « feedforward » comprennent les convolutionnal neural networks qui sous-tendent les systèmes de reconnaissance d’images . Les RNN, d’autre part, peuvent être superposés pour traiter l’information dans deux directions.

Comme les réseaux neuronaux feedforward, les RNN peuvent traiter des données de l’entrée initiale à la sortie finale. Contrairement aux réseaux neuronaux feedforward, les RNN utilisent des boucles de rétroaction telles que la rétropropagation dans le temps ou BPTT tout au long du processus de calcul pour renvoyer les informations dans le réseau. Cela relie les entrées entre elles et permet aux RNN de traiter des données séquentielles et temporelles.

Unités de mémoire à long terme et à court terme

L’un des inconvénients des RNN standard est le problème du gradient de disparition, dans lequel la performance du réseau neuronal souffre du fait qu’il ne peut pas être formé correctement. C’est le cas des réseaux neuronaux à couches profondes, qui sont utilisés pour traiter des données complexes.

Les RNN standard qui utilisent une méthode d’apprentissage basée sur le gradient se dégradent au fur et à mesure qu’ils deviennent plus grands et plus complexes. Régler efficacement les paramètres dans les premières couches devient trop long et trop coûteux en termes de calcul.

Une solution à ce problème est appelée unités de mémoire longue et courte durée (LSTM), qui ont été inventées par les informaticiens Sepp Hochreiter et Jurgen Schmidhuber en 1997. Les RNN construites avec des unités LSTM classent les données en cellules de mémoire à court terme et à long terme. Les RNN peuvent ainsi déterminer quelles données sont importantes et doivent être mémorisées et réintégrées dans le réseau, et quelles données peuvent être oubliées.

Ecrire un commentaire