streaming data architecture
Une streaming data architecture est un cadre informatique qui met l’accent sur le traitement des données en mouvement et considère le traitement par lots ETL (extract-transform-load) comme un événement de plus dans un flux continu d’événements. Ce type d’architecture comporte trois éléments de base : un agrégateur qui rassemble les flux d’événements et les fichiers batch provenant de diverses sources de données, un courtier qui rend les données disponibles pour la consommation et un moteur d’analyse qui analyse les données, corrèle les valeurs et mélange les flux.
Le système qui reçoit et envoie les flux de données et exécute la logique d’application et d’analyse en temps réel s’appelle le processeur de flux. Comme une architecture de streaming data prend en charge le concept d’approvisionnement par événement, les développeurs ont moins besoin de créer et de maintenir des bases de données partagées. Au lieu de cela, toutes les modifications apportées à l’état d’une application sont stockées sous la forme d’une séquence de déclencheurs ESP (Event-Driven Processing) qui peuvent être reconstitués ou interrogés si nécessaire. À la réception d’un événement, le processeur de flux réagit en temps réel ou quasi réel et déclenche une action, telle que la mémorisation de l’événement pour une référence ultérieure.
La popularité croissante des streaming data architectures reflète un changement dans le développement des services et des produits, d’une architecture monolithique à une architecture décentralisée construite avec des microservices. Ce type d’architecture est généralement plus souple et plus évolutif qu’une architecture d’application classique centrée sur la base de données, car il associe le traitement des données au stockage afin de réduire les temps de réponse des applications (latence) et d’améliorer le débit. Un autre avantage de l’utilisation d’une architecture de streaming data est qu’elle prend en compte le moment où un événement se produit, ce qui facilite le partitionnement et la distribution de l’état et du traitement d’une application sur de nombreuses instances.
Les architectures de streaming data permettent aux développeurs de mettre au point des applications qui utilisent des données liées et non liées de manière inédite. Par exemple, l’équipe chargée de l’infrastructure de recherche d’Alibaba utilise une architecture de streaming data alimentée par Apache Flink pour mettre à jour les informations détaillées sur les produits et les stocks en temps réel. Netflix utilise également Flink pour prendre en charge ses moteurs de recommandation et ING, la banque mondiale basée aux Pays-Bas, utilise cette architecture pour prévenir le vol d’identité et offrir une meilleure protection contre la fraude. Parmi les autres plates-formes capables de prendre en charge le traitement en continu et le traitement par lots, citons Apache Spark, Apache Storm, Google Cloud Dataflow et AWS Kinesis.
