Herausforderungen: Auch nach der Beratung und dem Tuning können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versions-Upgrade von DataStage. Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder […]
Firma JET-Software
433 Beiträge
Snowflake ETL und PII-Maskierung: Die Lösung für zeitaufwendige Probleme bei der Arbeit mit Snowflake wie Datensuche, -profilierung und/oder -klassifizierung Integration oder Daten-Wrangling für DW/BI-Ops Datenbewegung/Migration zu/von Tabellen Transformieren oder Laden großer Tabellen Datenerfassung oder -replikation ändern Clustering oder Abfrage der Performance Generierung intelligenter und sicherer Testdaten Maskierung sensibler Daten […]
Sensible Daten in Elasticsearch finden und automatisch maskieren: Elasticsearch ist eine Java-basierte Suchmaschine, die über eine HTTP-Schnittstelle verfügt und ihre Daten in schemafreien JSON-Dokumenten speichert. Leider werden die Online-Datenbanken von Elasticsearch oft von kostspieligen und schmerzhaften Verletzungen von personenbezogenen Daten (PII) geplagt. Würden jedoch alle PII oder andere sensible Informationen […]
Synthetisierung realistischer HL7- und X12-Testdaten: In diesem Artikel wird erörtert, wie HL7- und X12-Nachrichten strukturiert sind und es wird demonstriert, wie das IRI RowGen-Softwarepaket zur Generierung von Testdaten verwendet werden kann, um realistische Nachrichten in diesen (hauptsächlich auf das Gesundheitswesen bezogenen) EDI-Dateiformaten zu erzeugen. DBAs, Entwickler und QA-Teams stehen immer […]
Datenmigration und -modernisierung: Mit dem Aufkommen der Cloud sind Datenmigrationen – und insbesondere Cloud-Migrationen – für viele Unternehmen immer wichtiger geworden (und werden es immer noch). Die Vorteile der Cloud sind hinlänglich bekannt, so dass sie hier nicht näher erläutert werden. Es genügt zu sagen, dass viele Unternehmen darin ein […]
Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie). Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das […]
Sicheres Database-Cloning: Das Sicherheitsprodukt IRI FieldShield maskiert sensible Daten in der geklonten Datenbank, bevor dann die Daten für die Entwicklung und Qualitätssicherung zur Verfügung stehen! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software mit unserer Datenmaskierung via Plug-In ausführen lassen. Die Commvault-Software ist bei unserem IRI FieldShield integriert. […]
Splunk-App für Data Wrangling & Datenmaskierung: Die beste Möglichkeit für die Datenerkennung, -integration, -migration, -verwaltung und -analyse von Splunk Enterprise oder Splunk Enterprise Security! Der Vorteil ist ein nahtloser, gleichzeitiger operativer Daten-zu-Informationsfluss von der schnellen Vorbereitung und dem Schutz großer und kleiner Datenquellen durch Voracity bis hin zu den leistungsstarken […]
NATURAL Sort-Ersatz: Der Schnellerer Weg, um große Datensätze direkt zu sortieren! IRI CoSort enthält eine Plug’n’Play-Sortierbibliothek für Benutzer von Natural unter Unix. Ohne Benutzereingriff und einen einfachen Makefile-Link kann die CoSort Engine in Natural bis zu sechsmal schneller sortieren als die native Sortierung. Eine vollständige Anleitung zur Verwendung von […]
Verarbeitung von Tabellenkalkulationsdaten: Zusätzlich zu allen anderen strukturierten Datenquellen, die die IRI-Software bereits unterstützt, ist es jetzt möglich, Daten aus XLS- und XLSX-Dateien im SortCL-Programm zu lesen und zu verarbeiten! IRI CoSort, für schnelles Sortieren, Umwandeln und Berichten IRI NextForm, für Mapping, Migration und Replikation IRI RowGen, für die zufällige […]