Surveillance des imports de données
Assurez-vous que vos imports et ETL s'exécutent correctement.
Les imports de données sont souvent critiques pour le business. Une synchronisation qui échoue peut avoir des impacts importants.
MoniTao Heartbeat surveille vos scripts d'import et mesure leur temps d'exécution.
Défis des imports de données
Les imports peuvent échouer de nombreuses façons :
- Fichier source non disponible
- Format de données incorrect
- API tierce indisponible
- Timeout lors d'imports volumineux
La solution heartbeat
Intégrez un ping à la fin de votre script d'import pour confirmer sa bonne exécution et mesurer sa durée.
Exemple d'intégration
Ajoutez le heartbeat Ă votre script d'import :
# Python example with heartbeat
import requests
HEARTBEAT_TOKEN = "YOUR_TOKEN"
API_SECRET = "YOUR_SECRET"
BASE_URL = "https://monitao.com/api/heartbeat"
def import_data():
# Signal start
requests.post(f"{BASE_URL}/start/{HEARTBEAT_TOKEN}",
headers={"Authorization": f"Bearer {API_SECRET}"})
try:
# Your import logic here
process_csv_file()
# Signal success
requests.post(f"{BASE_URL}/ping/{HEARTBEAT_TOKEN}",
headers={"Authorization": f"Bearer {API_SECRET}"})
except Exception as e:
# Signal failure
requests.post(f"{BASE_URL}/fail/{HEARTBEAT_TOKEN}",
headers={"Authorization": f"Bearer {API_SECRET}"})
raise e
Cas d'usage
- Import quotidien de commandes e-commerce
- Synchronisation CRM-ERP
- Récupération de flux produits fournisseurs
Configuration
- Créez un job heartbeat avec l'intervalle de votre import
- Utilisez start/ping/fail selon le résultat de l'import
- Configurez les alertes adaptées à la criticité
Questions fréquentes
Comment détecter un import qui prend trop de temps ?
Utilisez l'endpoint /start au début et /ping à la fin. MoniTao calculera la durée.
Puis-je ĂȘtre alertĂ© si l'import dĂ©passe un certain temps ?
Les alertes sur durée excessive sont prévues dans une prochaine version.
Comment gérer les imports qui peuvent échouer partiellement ?
Envoyez un /fail si des erreurs critiques surviennent, /ping sinon.
Puis-je envoyer le nombre de lignes importées ?
Actuellement le heartbeat n'accepte pas de données supplémentaires.
Liens utiles
PrĂȘt Ă dormir sur vos deux oreilles ?
Commencez gratuitement, sans carte bancaire.