Bleiben Sie mit uns auf dem Laufenden.

 

Neues Release: RapidRep 5.8.7

RapidRep® ist ab sofort in der Version 5.8.7 erhältlich. Wir haben für Sie die Neuerungen detailliert zusammengestellt.

Big Data Konnektoren

RapidRep deckt eine große Bandbreite führender Big Data Lösungen ab. Zu diesen zählen:

  • Impala
  • Hive
  • BIG SQL
  • Spark SQL

Die Anbindung von Impala, Hive und BIG SQL erfolgt über eine vorkonfigurierte, sofort einsetzbare JDBC Treiberkonfiguration.

Kunden, die Spark SQL verwenden, können eine Library nutzen und Programme in Java oder Scala entwickeln. 

Analyse-Grid

Business Analysten und Data Scientists können mit dem neu entwickelten Data Grid Datenanalysen schnell und flexibel durchführen. Zahlreiche Funktionen gewähren mit einem einzigen Klick oder per Drag&Drop Einblicke in die Daten. Zu den Funktionen zählen:

  • Gruppierung (Spalten und Zeilen)
  • Sortierung
  • statistische Methoden (Durchschnitt, Median, Min, Max, ...)
  • Ermittlung von Duplikaten
  • Filter
  • Spalten und Zeilenfixierung
  • Einfärben von Zellen, manuell oder nach Bedingungen
  • spaltenübergreifende Suche nach Werten mit Ctrl-F
  • formatierte Exporte nach Excel

Mit dem neuen Grid können Sie sehr lange und sehr breite Tabellen flüssig analysieren und einen schnellen Überblick über die Daten erhalten.

Verbesserungen beim Lesen von CSV

Die Geschwindigkeit beim Einlesen von CSV-Dateien wurde gegenüber der Vorversion um bis zu 20% verbessert. Auch das parallele Einlesen von bis zu 10 CSV-Leseoperationen führt zu deutlich schnelleren Gesamtlaufzeiten.

Wenn sich CSV Strukturen oft ändern oder die Struktur erst zur Laufzeit feststeht, kann ab dieser Version die für das Einlesen verwendete CSV Struktur mit Hilfe weniger Zeilen Code dynamisch zur Laufzeit erstellt werden.

Der CSV Wizard erkennt nun automatisch Header, Trennzeichen und Textkennzeichner. Alle Optionen sind natürlich weiterhin auch im Dialog konfigurierbar.

Data Quality Lösung (Blue Print)

Die neue Version der Rule Library und die mitgelieferten Datenqualitätsbeispiele sind als Blaupause für kundenspezifische Lösungen einsetzbar.

Die Regelwerke unterstützen Zeilen- und Mengenbasierte Prüfungen. Prüflogiken in Form parametrisierbarer Bausteine erhöhen die Wartbarkeit.

KPI’s sind individuell definierbar während die Messung der KPI’s auf Ebene einzelner Regeln festgelegt werden kann.

Die Messreihen werden optional per ETL abgelegt und Fehler können im Verlauf grafisch dargestellt werden. 

Verbesserungen bei ETL Prozessen

Für systemübergreifende Extract-Transform-Load (ETL) Operationen bietet RapidRep eine neue API Funktion.Diese ist im Vergleich zur Vorgängerversion um den Faktor 2 bis 3 mal schneller als das bisherige Schreiben über die interne Datenbank-Engine! Die sog. Fetch-Size und die Commit-Size sind auf Skriptebene konfigurierbar.

Das Lesen und Schreiben von Daten innerhalb eines Systems (z.B. Oracle) wird automatisch an das zuständige Datenbankmanagementsystem delegiert.

Konfigurationsmanagement für Datenquellen

Eine Reportdefinition, die eine JDBC Datenquelle verwendet, ist in der Regel für eine bestimmte Umgebung, z.B. Dev, Test oder Prod eingerichtet. Die JDBC Eigenschaften sowie User/Password sind je nach Umgebung oft unterschiedlich. Ab RapidRep 5.8.7 kann es für jede „logische“ JDBC Datenquelle beliebig viele verschiedene Alternativen geben. Diese Alternativen sind im Report Runner oder im Stapelbetrieb wählbar.
Auf diese Weise können freigegebene Reportdefinitionen auf verschiedene Umgebungen verteilt werden.

SQL Window Funktionen in der Internal Engine

Die bisherige H2 Datenbank-Engine, die in RapidRep zum Einsatz kommt, wurde nach intensiven Tests ausgetauscht und durch eine aktuelle Version von H2 ersetzt. Daher sind ab sofort bei der Erstellung von Abfragen die H2 Window Funktionen, z.B. RANK, LEAD, LAG, NTILE, NTH_VALUE etc. zulässig.

Diese und weitere Information über verfügbare H2 Funktionen finden Sie auf der offiziellen H2 Webseite unter http://www.h2database.com/html/functions.html

Produktivitätsverbesserungen im Designer

Für den Entwickler haben wir die integrierte Entwicklungsumgebung durch eine Vielzahl von Maßnahmen noch produktiver gemacht. Hier ein paar Beispiele.

  • Per Drag&Drop können alle Skripte oder Funktionen, die sich in einem Ordner befinden, kopiert werden. Gleichzeitig werden die neuen Objekt konsistent umbenannt. Der User kann Namenskonventionen wie z.B. Präfixe oder Suffixe im Dialog vorgeben.
  • SQL Tabs sind als eigenständige Fenster herauslösbar. Das parallele Analysieren von Daten z.B. auf mehreren Monitoren wird dadurch vereinfacht.
  • Bei Funktionen mit mehreren Argumenten (z.B. aus der Rule Library) wird im Proposal und auch beim Klicken an die Stelle der Parameter angezeigt, welcher Parameter von welchem Datentyp wofür erwartet wird.
  • Die Erfassung von SQL-Anweisungen wird nun über spezielle SQL Templates vereinfacht, z.B. 'S' tippen, Strg+Leertaste und Enter und es erscheint: SELECT * FROM Tabelle
  • Der Datenbankbrowser kann über das Kontextmenü DML und DDL Anweisungen erzeugen, z.B. für SELECT, INSERT, UPDATE, DELETE, DROP.
  • Die Metadaten aus SQL können blockweise kopiert und beispielsweise in ein Regelwerk übertragen werden.
  • Der Code Editor unterstützt nun auch den sog. Blockmodus, in dem ein Block bestehend aus mehreren Spalten und Zeilen gleichzeitig markiert und verändert werden kann. Die Aktivierung erfolgt über Alt-Taste und "Ziehen"
  • Verbessertes Versionsmanagement: Direkt erkennen ob man mit der aktuellsten Version arbeitet; Warnung beim Erstellen einer Neuen Version, falls nicht auf neuster basiert
  • Suchen, Ersetzen im SQL-Code jetzt mit "Erweitert (\n,\r,\t)" und "RegExp Capture-Group" Option
  • Erweiterung in der File-API: Dateien automatisiert archivieren. Als Zip, 7z, TAR,..
  • schnellere Navigation: STRG+Klick auf eine Funktion, Variable: Funktion, Variable ansehen
  • STRG+Klick auf einen Tabellennamen in einem  SQL: Tabelle ansehen -> SELECT * FROM Tabelle
  • Performance-Optimierungen beim Laden des DB-Browser
  • Performance-Optimierung beim Rendering (jetzt mit Apache POI)

Visualisierung von Ausführungen

Neben dem statischen Graphen zur Darstellung der Skriptabhängigkeiten steht mit der SQL Visualisierung ein weiteres grafisches Werkzeug zur Verfügung. Die SQL Visualisierung erstellt bei der Ausführung eines Skriptes einen Graphen, der alle Schritte und Abhängigkeiten vollständig darstellt.

Der Graph enthält folgende Elemente:

  • Benutzervariablen
  • verwendete Tabellen und Verbindungen
  • Modelle
  • Regelwerke
  • Skripte
  • Excel Ausgaben

Der Graph kann nach verschiedenen Kriterien gefiltert und als Bild gespeichert werden. Perfekt, um ein Skript zu verstehen und perfekt, um in eine Dokumentation eingebettet zu werden.

Folgende Graphdarstellungen sind vorkonfiguriert:

  • Datenfluss
  • Konstruktionsfluss
  • Kontrollfluss
  • Performance
  • Vollständig

Weitere Anpassungen und Feature-Wünsche

Eigene Vorschläge zur Erweiterung können Sie uns jederzeit über die Kontaktoptionen auf der Homepage zukommen lassen.

Wir freuen uns auf Ihr Feedback und über Wünsche und Anregungen für weitere Features!

Zurück