Erfolgsgeschichte

Paradigmenwechsel hin zu Datenintegrations-Frameworks für ein weltweit führendes Unternehmen der Unterhaltungselektronik

mit dem metadatengesteuerten Datenintegrations-Framework von Virtusa auf AWS mit Talend

In letzter Zeit steht die Unterhaltungselektronikbranche vor der Herausforderung, mit den zahlreichen Datenintegrationen aus verschiedenen Quellen für ihre Produkte Schritt zu halten. Angesichts der sich ständig ändernden Kundennachfrage ist ein robustes Datenintegrations-Framework erforderlich, das Daten aus verschiedenen Datenquellen aufnehmen und bei Bedarf umwandeln kann.  

Ensure that you open the links to enable the Next button, assuming you have read all the documents.
Okay & NextClick to Next
Die Herausforderung

Unser Kunde, ein führendes Unternehmen in diesem Bereich, verfügte über eine Architektur, die eng mit Speicher- und Berechnungsfunktionen gekoppelt war.

Infolgedessen wurde das gesamte System teuer und hatte erhebliche Leistungsprobleme, die nur schwer zu beheben waren. Dies führte zu vielen weiteren Herausforderungen, darunter eine langsame Akzeptanz, viel ungenutzte Kapazität außerhalb der Spitzenzeiten, Probleme mit der Speicherkapazität und der Notfallwiederherstellung. Es bestand ein akuter Bedarf an mehr Speicherplatz, was wiederum zu einer Skalierung der teuren Rechenressourcen, Verzögerungen bei der Einführung neuer Anwendungen und einer verzögerten Datenpipeline und -verarbeitung führen würde.

 

Die Lösung

Sorgfältiger Ansatz zur Datenintegration mit dem metadatengesteuerten Framework von Virtusa.

Bei einer typischen/traditionellen ETL- oder Data-Warehouse-Lösung müssen Sie Daten aus verschiedenen Quellsystemen in Ihren Data Lake einspeisen und sie bereinigen, bevor sie von nachgelagerten Anwendungen weiterverarbeitet werden können. Darüber hinaus wird im aktuellen Szenario die Datenmigration von On-Premise-Systemen in die Cloud immer beliebter.

Virtusa als strategischer Geschäftspartner begann den Prozess mit der Migration des bestehenden Datenerfassungs-Frameworks des Kunden unter Verwendung von Hadoop-Modernisierungstechniken auf AWS. Darüber hinaus verwendeten wir Talend zum Extrahieren, Transformieren und Laden (ETL) und nutzten dabei die Serverless Data Lake Framework-Lösungen des Kunden. 

Im Anschluss daran entstand die Idee, ein metadatengesteuertes Datenintegrations-Framework einzusetzen, und wir entwickelten den Entwurf für die Aufnahme von Daten aus beliebigen strukturierten Datenquellen in ein beliebiges Ziel durch Hinzufügen von Metadateninformationen in eine Metadatendatei/Tabelle. Dieses Framework kann Daten aus beliebigen strukturierten Datenquellensystemen (RDBMS wie Oracle, Local File, FTP Server Pulls usw.) aufnehmen und Daten an einem beliebigen Zielort (AWS S3, Azure ADLS, RDS usw.) speichern. 

Dieser Beschleuniger unterstützt die Schemaentwicklung. Jede Änderung des Schemas eines bestehenden Feeds hat keine Auswirkungen auf das Lösungsframework, wodurch die Notwendigkeit einer Codeänderung reduziert wird. Dies spart Zeit beim Erstellen und Testen und eine Menge Aufwand, da die Notwendigkeit einer Auswirkungsanalyse von Schemaänderungen reduziert wird.

 

Die Lösung: Datenintegrations-Frameworks
Der Nutzen

Standardisierung des Prozesses der Dateneinspeisung und -integration mit dem metadatengesteuerten Datenintegrations-Framework von Virtusa und der Datenspeicherung mit AWS S3.

Mit dem metadatengesteuerten Framework von Virtusa und der Datenspeicherung mit AWS S3 waren wir in der Lage, neue Datenquellen in kürzerer Zeit zu replizieren und hinzuzufügen. Das gesamte Framework befand sich auf einer Abstraktionsebene, auf der es einfach ist, Mappings zu definieren/wiederzuverwenden, verschiedene Quellen und Ziele zu definieren, wo sich die Daten befinden sollen, und auch Transformationsregeln im Metadatenteil des Frameworks effektiv zu definieren/wiederzuverwenden. Wir unterstützten den Kunden bei den folgenden Aspekten: 

  • Entkoppelte, unabhängige Skalierung von Rechenleistung und Speicher
  • Dauerhafter und vorübergehender Einsatz von Clustern
  • Benutzerfreundlichkeit; Isolierung der Arbeitslast; Automatisierung
  • Elastische, integrierte automatische Skalierung
  • Kosteneffizienz
  • Workloads werden von Batch auf Realtime verlagert, mit verbesserten Laufzeiten um etwa 30 Minuten

Kurz gesagt, das metadatengesteuerte ETL-Framework von Virtusa ist ein hervorragender Ansatz für die Standardisierung eingehender Daten. Es hilft bei der Vereinfachung eines komplizierten Prozesses und beschleunigt die Entwicklung auf der ETL-Seite, indem es mehr Flexibilität bei der Einbindung verschiedener Datenquellen in ein Data Warehouse bietet. Der Kunde kann den Prozess problemlos wiederholen, ohne für jede Integration oder für jeden neuen Datensatz, der integriert werden muss, ein völlig neues System erstellen zu müssen.

Analytik, Einblicke, Daten

Modernisieren Sie Ihre Datenplattformen und nutzen Sie KI/ML, um Geschäftsprozesse neu zu definieren und umzugestalten und dadurch eine besseres Kundenerfahrung und eine höhere Produktivität zu erreichen.

Erfahren Sie mehr Click to Erfahren Sie mehr Demo anfordern Click to Demo anfordern
Verwandte Inhalte