Programmierung Importgenerator zur timergesteuerten Datenbereitstellung

Der Importgenerator ist eine mächtige Datenbank-Import-Engine, welche Daten timergesteuert aus Textdateien in eine Datenbank importiert. Hierbei wird vom System automatisch erkannt, in welchem Textformat (Unix oder Windows) die Dateien vorliegen. Die Zuordnung und Formatierung der Daten erfolgt anhand von Import-Schemata, die tabellenweise in XML-Dateien abgespeichert werden. Die Import-Schemata können zu Tabellengruppen zusammengefasst werden, damit mehrere oder alle Tabellen der Datenbank in einem Import-Vorgang abgearbeitet werden können. Um eine optimale Performance während des Importvorgangs zu erzielen, wird ein Importvorgang auf mehrere Threads verteilt.

Zusätzlich zur Timersteuerung besteht die Möglichkeit des manuellen Imports. Während des Importvorgangs wird per Fortschrittsanzeige ausführlich über den Importstatus informiert (Gesamtfortschritt, Fortschritt einzelner Tabellen). Im Anschluss an jeden Import werden autorisierte Benutzer über das integrierte E-Mail-Informationssystem benachrichtigt.

Das System besteht aus drei Modulen - Importmanager, Importdienst und dem eigentlichen Importgenerator:

Importmanager

Im Frontend des Import-Managers können Import-Schemata auch ohne Programmier- / XML-Kenntnisse bearbeitet werden. Hier werden folgende Importkriterien definiert:

  • Spaltenname / Datentyp / Datenlänge
  • Lookup-Felder (Nachschlagekriterium)
  • Compareable-Felder (Vergleichskriterium)
  • Möglichkeit zur Versionierung

Darüber hinaus kann sich der Anwender über eine Batch-Konvertierung anhand von Schema-Vorlagen (Textdateien, welche die Tabellendefinition beschreiben) automatisch Import-Schemata generieren lassen.

Importdienst

Im Scheduler des Importdienstes werden Startdatum, Uhrzeit, Anzahl der Durchläufe sowie die Importintervalle (täglich, wöchentlich, monatlich) festgelegt. Es erfolgt ein Verweis auf Importgruppen.

Importgenerator

Über das Frontend des Importgenerators können folgende Einstellungen bezüglich Import und Importservice vorgenommen werden:

  • Datenbank (Typ, Server, Datenbank)
  • FTP-Server (von welchem FTP-Server die Daten downgeloadet werden)
  • Berichtswesen (E-Mail-Benachrichtigung nach einem Import-Vorgang)
  • Aufgaben (Download / Import)
  • Importstrategie (Teilimport / vollständiger Import)

Importvorgang

Der eigentliche Importvorgang besteht aus folgenden Aktionen:

  • Einlesen der Import-Schemata
  • FTP-Transfer der zu importierenden Daten
  • Daten-Import in temporäre Tabellen
  • Vergleich / Überprüfung der importierten Daten
  • Übernahme der Daten
  • E-Mail-Benachrichtigung (Import erfolgreich, Warnungen, Fehler, ...)

Zurück