Ingestion & Gouvernance des données

[SalimM21]

Data Engineer → Connexion des sources : En tant que Data Engineer, je veux connecter les sources (CRM, transactions, API externes) pour centraliser les données

User Story 1.1 : En tant que Data Engineer, je veux connecter la base CRM pour centraliser les données clients.

• Tâches :

• Configurer connecteur Kafka pour CRM

• Définir schéma Avro/Parquet pour les données clients

• Créer tests d’ingestion (volumétrie, duplication)

User Story 1.2 : En tant que Data Engineer, je veux connecter les transactions bancaires en temps réel.

• Tâches :

• Configurer ingestion streaming (Kafka/Flink)

• Définir partitionnement par date/compte

• Mettre en place mécanisme de retry et DLQ (dead letter queue)

User Story 1.3 : En tant que Data Engineer, je veux connecter des données externes (API KYC, bureau de crédit).

• Tâches :

• Intégrer API KYC via batch + API REST

• Stocker les réponses JSON dans Data Lake

• Vérifier cohérence des formats (validation JSON schema)