DataFlow
Un tool per procedure ETL
Dalla più che decennale esperienza di Iso Sistemi nel settore della Business Intelligence e dei Data Warehouse, nasce DataFlow, strumento per lo sviluppo e la gestione di procedure di ETL.
E’ un ambiente grafico di design, sviluppo, e testing di procedure ETL, e scheduler per la gestione automatizzata delle varie procedure.
Dal 2008 DataFlow è un prodotto certificato Microsoft.
Nello stesso anno il software è stato premiato alla 4^ edizione del Premio Perotto nella sezione Informatica.
Funzioni di DataFlow
DataFlow è innanzitutto uno strumento di sviluppo, che mette a disposizione dell’utente un ambiente grafico in cui i singoli job da eseguire e le loro dipendenze sono rappresentati graficamente, in modo estremamente intuitivo.
DataFlow mette nativamente a disposizione una serie di task per l’esecuzione delle più comuni esigenze di estrazione, normalizzazione e registrazione del dato, tipiche dei data warehouse. Questi task possono essere tra loro composti, in maniera sequenziale o parallela, e parametrizzati in vari modi, per risolvere molte delle problematiche dei processi di ETL. I task definiti possono essere inoltre aggregati tra loro, per definire procedure più complesse.
DataFlow mette a disposizione uno strato di connettori che consentono di interfacciarsi con le basi dati più diffuse, quali ad esempio DB2, Oracle, SQLServer, Excel. Grazie a questi connettori è possibile quindi separare i task dall’obiettivo dell’elaborazione (database operativo, dati estemporanei in formato excel, data warehouse, etc.) permettendo di definire una struttura modulare e facilmente manutenibile. E’ inoltre possibile prevedere procedure che eseguano l’estrazione da una base dati e l’importazione su una di diverso tipo, senza la necessità di passaggi intermedi.
Durante la fase di debug delle procedure, DataFlow consente di visualizzare graficamente ed in tempo reale il flusso dei task, il loro stato di avanzamento e gli errori eventualmente generati, permettendo di concentrarsi sul flusso effettivo dei dati. Questo modo di procedere rende più semplice ed intuitivo il processo di identificazione dei problemi e la loro risoluzione, anche in architetture estremamente complesse.
Schedulazione dei task
Dopo aver definito e testato i task, DataFlow consente una rapida schedulazione degli stessi, che può avvenire quotidianamente, settimanalmente o mensilmente, secondo le specifiche esigenze. La schedulazione avviene appoggiandosi al Task Scheduler di Windows, senza avere quindi la necessità di servizi aggiuntivi e sempre attivi sulla macchina in produzione.
Per le procedure in produzione, DataFlow mette a disposizione una serie di strumenti specifici per il monitoring dei task, quali la visualizzazione a video di messaggi, la generazione di report con i dati specifici e personalizzabili del caricamento, l’invio di messaggi e report via mail. DataFlow permette inoltre di tracciare mediante file di log configurabili tutto quello che avviene durante il caricamento.