Data Ingestion

La Data Ingestion est le processus d’obtention et d’importation de données en vue de leur utilisation immédiate ou de leur stockage dans une base de données. L’ingestion de données consiste à « absorber quelque chose ». Les données peuvent être transmises en temps réel ou ingérées par lots. Lorsque les données sont ingérées en temps réel, chaque élément de données est importé à mesure qu’il est émis par la source. Lorsque les données sont ingérées par lots, les éléments de données sont importés par blocs distincts à intervalles réguliers. Un processus efficace d’ingestion des données commence par la hiérarchisation des sources de données, la validation des fichiers individuels et l’acheminement des éléments de données vers la bonne destination.
Lorsque de nombreuses sources de Big Data existent dans divers formats (les sources se comptent souvent par centaines et les formats par dizaines), il peut être difficile pour les entreprises d’ingérer les données à une vitesse raisonnable et de les traiter efficacement afin de conserver un avantage concurrentiel. À cette fin, les fournisseurs proposent des logiciels adaptés à des environnements informatiques ou des applications logicielles spécifiques. Lorsque l’ingestion des données est automatisée, le logiciel utilisé pour exécuter le processus peut également inclure des fonctions de préparation des données pour structurer et organiser les données afin qu’elles puissent être analysées à la volée ou ultérieurement par des programmes de Business Intelligence (BI) et de Business Analytics (BA).