Uber hat seine Dateninfrastruktur grundlegend neu aufgestellt – und erzielt damit bemerkenswerte Ergebnisse: Durch den Wechsel von klassischer Batch-Verarbeitung zu einer Streaming-basierten Data-Lake-Architektur wurden sowohl Latenzen als auch Rechenkosten um jeweils rund 50 Prozent gesenkt. Ein Blaupause-Moment für datenintensive Unternehmen weltweit.
Uber reduziert Latenz und Rechenaufwand mit neuer Streaming-Datenarchitektur um die Hälfte
Vom Batch-Betrieb zur Echtzeit-Verarbeitung
Bislang setzte Uber bei der internen Datenhaltung auf klassische Batch-Verarbeitungspipelines, wie sie in vielen Großunternehmen verbreitet sind. Daten wurden in regelmäßigen Intervallen gesammelt, transformiert und in einem zentralen Data Lake abgelegt. Dieses Modell stößt jedoch an Grenzen, sobald operative Entscheidungen auf aktuellen Daten beruhen müssen – etwa bei dynamischer Preisgestaltung, Fahrerzuweisung oder Betrugserkennung in Echtzeit.
Die neue Architektur ersetzt große Teile dieser Batch-Prozesse durch kontinuierliches Streaming. Eingehende Ereignisdaten werden direkt in den Data Lake geschrieben, ohne auf den nächsten Batch-Zyklus warten zu müssen. Das reduziert nicht nur die Latenz zwischen Datenentstehung und Verfügbarkeit deutlich, sondern verringert auch den Verarbeitungsaufwand erheblich – da redundante Neuberechnungen über große historische Datensätze entfallen.
Technische Grundlage: Inkrementelle Verarbeitung statt vollständiger Neuberechnung
Ein zentrales Element der neuen Architektur ist das Prinzip der inkrementellen Verarbeitung. Statt bei jedem Zyklus den gesamten Datensatz neu zu verarbeiten, werden ausschließlich Änderungen – sogenannte Deltas – erfasst und weitergeleitet. Dieser Ansatz ist besonders effizient für Tabellen mit hohem Schreibaufkommen, die sich kontinuierlich verändern.
Statt Milliarden von Datensätzen wiederholt neu zu berechnen, verarbeitet die neue Architektur ausschließlich das, was sich tatsächlich geändert hat – ein fundamentaler Effizienzgewinn.
Uber setzt dabei auf etablierte Open-Source-Formate im Data-Lake-Umfeld, die transaktionale Eigenschaften und inkrementelles Lesen unterstützen. Die Integration mit bestehenden Streaming-Plattformen erlaubt es, Daten nahezu in Echtzeit von Quellsystemen bis in analytische Workloads zu überführen – ohne aufwändige Migrationen oder Systemunterbrechungen.
Auswirkungen auf Kosten und Betrieb
Die gemessenen Einsparungen sind betrieblich hochrelevant:
- Latenz halbiert: Daten stehen deutlich schneller zur Verfügung
- Rechenaufwand halbiert: Weniger Daten pro Verarbeitungszyklus, gleichmäßigere Systemauslastung
- Infrastrukturbudget entlastet: Geringere Spitzenlast auf der zugrundeliegenden Infrastruktur
Für ein Unternehmen in der Größenordnung von Uber, das täglich Milliarden von Ereignissen verarbeitet, bedeutet das messbare Einsparungen im neunstelligen Infrastrukturbereich. Gleichzeitig profitieren nachgelagerte Teams: Data Engineers und Analysten erhalten schneller konsistente Daten, was Iterationszyklen bei der Modellentwicklung und im Reporting spürbar verkürzt.
Einordnung für deutsche Unternehmen
Das Uber-Beispiel zeigt einen Trend, der in vielen datenintensiven Branchen – vom Logistiksektor über den Handel bis zur Finanzdienstleistung – zunehmend relevant wird:
Die Grenze zwischen operativen Systemen und analytischer Datenverarbeitung verschwimmt – und wer das ignoriert, zahlt morgen mit steigenden Infrastrukturkosten.
Für deutsche Technologieverantwortliche lohnt sich eine kritische Bestandsaufnahme der eigenen Data-Lake- und Pipeline-Architektur. Streaming-first-Ansätze auf Basis von Technologien wie Apache Kafka, Apache Flink oder tabellarischen Formaten mit ACID-Unterstützung sind inzwischen produktionsreif und werden von einem breiten Ökosystem unterstützt.
Der Einstieg muss dabei nicht mit einem vollständigen Plattformwechsel verbunden sein – inkrementelle Migrationen einzelner Pipelines haben sich als praktikabler und risikoarmer Einstieg erwiesen.
Quelle: InfoQ AI
