SlideShare ist ein Scribd-Unternehmen logo

BATbern52 SBB zu Data Products und Knacknüsse

•
•
BATbern
BATbern

Mit den Data Products und dem Data Mesh weht ein neuer Wind durch die Data Analytics-Stuben. Konzepte, die im Bereich des Software Engineerings bereits etabliert sind, werden für neue Analytics-Vorhaben entsprechend adaptiert. Dies Nähe zur Software Entwicklung ist nicht erstaunlich, stammen doch die Prinzipien des Data Mesh aus dem Umfeld von Martin Fowler. Die Grundgedanken sind bestechend einfach: das Data Product als eine klar abgegrenzte Einheit mit klaren Regeln und Daten, die einen Mehrwert für den Datennutzer bieten. Diese Data Products können in einer Mesh-Architektur miteinander verknüpft und zu einem funktionierenden Ganzen zusammengefügt werden. Damit soll der «Ad-Hoc»-Charakter, der vielen Analytics-Lösungen innewohnt, überwunden werden. Bei der Adaption von Data Products in eine bestehende Analytics-Landschaft müssen technische und organisatorische Hürden genommen und viel Überzeugungsarbeit in der Analytics-Gemeinde geleistet werden. Wir nehmen Euch mit auf diese Reise, die noch nicht zu Ende ist.

1 von 20
48-mal heruntergeladen
1 Dr. André Rogger Bern, 08. März 2024 Von neuen Data Products und Knacknüssen
C2 – Internal 2 • 35’000 employees, 5 business divisions • 1.5 mio passengers, 5.800 train/day, 3.200 km tracks • IT departement • SAFe as organisation model • 1’300/ 500 FTE intern/ ext employees. • > 2’500 business applications, thousands of OT applications • 120 enterprise architects • 100 data managers (business) • Over 100 Data Products, and increasing • Data Glossary Terms: • 20 top level concepts • > 200 high level terms • > 900 business data types SBB facts & figures Stand: Februar 2024 September 2023 SBB - DGOV Architecture
C2 – Internal Wo wir herkommen … 3 Datensilos überwinden Sprengung. Bild: Giulio Casti, Italien, Sony World Photography Awards 2022, Daily Mail, 15. März 2022
C2 – Internal … und wo die Reise hingeht 4
C2 – Internal Was ist ein Data Product? (noch eine Definition) 5 Ein Data Product ist eine Menge von wertorientierten «Data Assets», die speziell dazu erstellt und gemanaged werden, um schnell und sicher genutzt zu werden und das bei hoher Qualität, Verfügbarkeit und Einhaltung von Vorschriften und internen Richtlinien. Als Analogie kann im SW-Devlopement ein Microservice dienen E. Broda, Anatomy of a Data Product. Broda Group Software, 2022. S. 5
C2 – Internal Data Product seit Anfang 2022 Teil der SBB-Architekturprinzipien 6 Aus unserem «Daten- und Integrationsprinzip» (DIP) «Wir stellen die Daten unserer Geschäftsfähigkeiten bedarfsorientiert als Datenprodukt in der Analytical Data Platform bereit. Für den Bezug von Daten aus den Datenprodukten über die Grenze der Analytical Data Platform hinaus stellen wir Schnittstellen bereit»
C2 – Internal Weshalb Data Products 7 Durch Data Products sollen • «analytische Daten» schneller genutzt werden können, • auffindbar und zugänglich (DIP) werden, • Verantwortlichkeiten geklärt und dadurch die Datenqualität sichergestellt, • doppelte Datenimporte durch Transparenz verhindert werden und • Nutzung der Daten überprüfbar gemacht werden. Erlaubt eine konsistente Integration in die Konzepte der Domänen der SBB (Digital Solutions DSO)
C2 – Internal Kompass für die Federated (computational) Governance 8 Governance by Transparenz: - Dimensionen: Business Criticality, Datenschutz, Quality, … - Notwendige Transparenz garantieren durch: - Was wird angeboten - Wer nutzt das Angebot - Standardisierung im Schnittstellenbereich ohne Beeinträchtigung innerhalb der Datenprodukte
C2 – Internal Typen von «Data Products» bei uns 9 • Raw Data Products (source-aligned domain data) Daten aus Quellsystemen und wenn sinnvoll als Produkt angeboten. Domänenspezifische einfache Standardisierungen möglich. • Foundation Data Products (aggregate domain data) die «wirklichen» Data Products, mit Mehrwert für Datennutzer • Insight Data Products (consumer-aligned domain data) vereinfachte Datenprodukte, die direkt zur Entscheidungsunterstützung verwendet werden (z.B. für Reports/Grafiken) oder aber die zu explorativen Zwecken genutzt werden sollen. werden nicht von anderen Datenprodukten verwendet.
C2 – Internal Do’s and Don’ts of Data Mesh Insight von Kimeret Kimhi, BlaBlaCar 10 Data Governance comes first “[…] Your Data Governance Framework should be ideally set in place before re-organising. Why? Imagine giving a single team full autonomy with zero standards nor processes. You'll find yourself cleaning up a huge and expensive mess, one year down the line. […]” K. Kimhi, ‘Do’s and Don’ts of Data Mesh’, BlaBlaCar, Sep. 06, 2022. https://medium.com/blablacar/dos-and-don-ts-of-data-mesh-e093f1662c2d (accessed Sep. 23). Quelle: freepik.com
C2 – Internal Minimale Governace: Beispiel der aktuellen Designregeln 11 Dies sind einige der speziellen Regeln für Data Products. Natürlich gelten alle Regeln der allgemeinen Data Governance wie Datenschutz, etc. hier implizit auch. Generell verfolgt die SBB ein «Offenheitsprinzip», das heisst, Daten sind intern von allen zugänglich, ausser es handelt sich um als vertraulich eingestufte Inhalte.
C2 – Internal Toolunterstützung 12 Data Catalog Finden von Daten und Data Products Enterprise Architecture Repository Data Products und Schnittstellen designen Business-Data-Entities managen Analytical Data Platform Nutzen von Data Products data stores meta data Raw Foundation Insight metadata metadata metadata Data Product- meta definition Business Glossary: Business Data-Entities Data architecture physische Sicht auf „analytische Daten“ Der Data Catalog verbindet physische und fachliche Perspektiven und hält Benutzer und Verantwortliche Data product data products meta data
C2 – Internal Ein neues Data Product erstellen 13 System Architect was Verantwortung – DP Epic/Features erstellen – Curator identifizieren Curator was Verantwortung – DP im Enterprise Architecture Repository erstellen System Architect was Verantwortung – DP in Analytical Data Platform bestellen – DP in Analytical Data Platform integrieren/ implementieren Curator was Verantwortung – DP im Data Catalog fachlich anreichern – DP mit Business Data Entities (Glossary) verknüpfen – DP mit Data Sets verknüpfen analytischer Bedarfsträger was Verantwortung – Data Catalog konsultieren – Bedarf für Anpassung von DP feststellen oder neues DP erstellen Rolle im Fach Rolle in DSO Data Product Bedarf feststellen planen entwerfen umsetzen dokumentieren Data Scientist Data Analyst Business Analyst … Data Product Owner Business Process Owner Data Steward (FDM) …
C2 – Internal 14 Flussmessung Beispiel eines Raw Data Products im Enterprise Architecture Repository xyz2 Team k
C2 – Internal Sicht des Data Products im Data Catalog 15 Flussmessung Flussmessung
C2 – Internal Zusammenspiel der einzelnen Parteien anhand der Data Mesh Pfeiler 16 Angelehnt an: data-mesh.com Digital Solution Lead Analytics Manager Analytics Services
C2 – Internal Herausforderungen 17 • Übernahme der Verantwortung für Data Products • Pflege der semantischen Metadaten • Bedarf an Data Products vs. Geschwindigkeit der Data Products-Erstellung vs. Qualitätsanforderungen • Data Products und experimentelle Analytics-Nutzung • Technisch noch kaum Standards und Plattformen (z.B. DP Market Places) • Etablierung der Qualitätsmessung für Data Products (Monitoring, Usage, …) • Grenze/Brücke von Data Products zu operationalen Daten
C2 – Internal Beispiel: Technische Implementierung von Data Products über 2 technische Plattformen 18
C2 – Internal Ausblick 19 • Automatisierung und Standardisierung (evtl. in Richtung ODPS) steigern • Zugang z.B. über internen DP-Marketplace noch einfacher machen • Ausweitung des Konzeptes über die Analytical Data Platform hinaus
C2 – Internal Eine etwas ausschweifende Definition aus unserm Wörterbuch (… noch eine) 20 Ein Data Product ist ein IT-Komponente, welches dazu dient, Daten in nutzerorientierter Form für jegliche Datenkonsumentin bereitzustellen. Dazu bezieht es Daten aus Anwendungen oder anderen Data Products und transformiert diese in ein definiertes Format. Ein Data Product besteht aus Dateninhalt, Metadaten sowie dem Programmcode zu deren Transformation und Bereitstellung. Die Bereitstellung erfolgt auf einer dafür vorgesehenen Plattform, der Zugriff über vordefinierte Schnittstellen. Für ein Data Product ist immer eine verantwortliche Person festgelegt, die für deren Inhalte verantwortlich zeichnet.

Weitere ähnliche Inhalte

BATbern52 SBB zu Data Products und Knacknüsse

  • 1. 1 Dr. André Rogger Bern, 08. März 2024 Von neuen Data Products und Knacknüssen
  • 2. C2 – Internal 2 • 35’000 employees, 5 business divisions • 1.5 mio passengers, 5.800 train/day, 3.200 km tracks • IT departement • SAFe as organisation model • 1’300/ 500 FTE intern/ ext employees. • > 2’500 business applications, thousands of OT applications • 120 enterprise architects • 100 data managers (business) • Over 100 Data Products, and increasing • Data Glossary Terms: • 20 top level concepts • > 200 high level terms • > 900 business data types SBB facts & figures Stand: Februar 2024 September 2023 SBB - DGOV Architecture
  • 3. C2 – Internal Wo wir herkommen … 3 Datensilos überwinden Sprengung. Bild: Giulio Casti, Italien, Sony World Photography Awards 2022, Daily Mail, 15. März 2022
  • 4. C2 – Internal … und wo die Reise hingeht 4
  • 5. C2 – Internal Was ist ein Data Product? (noch eine Definition) 5 Ein Data Product ist eine Menge von wertorientierten «Data Assets», die speziell dazu erstellt und gemanaged werden, um schnell und sicher genutzt zu werden und das bei hoher Qualität, Verfügbarkeit und Einhaltung von Vorschriften und internen Richtlinien. Als Analogie kann im SW-Devlopement ein Microservice dienen E. Broda, Anatomy of a Data Product. Broda Group Software, 2022. S. 5
  • 6. C2 – Internal Data Product seit Anfang 2022 Teil der SBB-Architekturprinzipien 6 Aus unserem «Daten- und Integrationsprinzip» (DIP) «Wir stellen die Daten unserer Geschäftsfähigkeiten bedarfsorientiert als Datenprodukt in der Analytical Data Platform bereit. Für den Bezug von Daten aus den Datenprodukten über die Grenze der Analytical Data Platform hinaus stellen wir Schnittstellen bereit»
  • 7. C2 – Internal Weshalb Data Products 7 Durch Data Products sollen • «analytische Daten» schneller genutzt werden können, • auffindbar und zugänglich (DIP) werden, • Verantwortlichkeiten geklärt und dadurch die Datenqualität sichergestellt, • doppelte Datenimporte durch Transparenz verhindert werden und • Nutzung der Daten überprüfbar gemacht werden. Erlaubt eine konsistente Integration in die Konzepte der Domänen der SBB (Digital Solutions DSO)
  • 8. C2 – Internal Kompass für die Federated (computational) Governance 8 Governance by Transparenz: - Dimensionen: Business Criticality, Datenschutz, Quality, … - Notwendige Transparenz garantieren durch: - Was wird angeboten - Wer nutzt das Angebot - Standardisierung im Schnittstellenbereich ohne Beeinträchtigung innerhalb der Datenprodukte
  • 9. C2 – Internal Typen von «Data Products» bei uns 9 • Raw Data Products (source-aligned domain data) Daten aus Quellsystemen und wenn sinnvoll als Produkt angeboten. Domänenspezifische einfache Standardisierungen möglich. • Foundation Data Products (aggregate domain data) die «wirklichen» Data Products, mit Mehrwert für Datennutzer • Insight Data Products (consumer-aligned domain data) vereinfachte Datenprodukte, die direkt zur Entscheidungsunterstützung verwendet werden (z.B. für Reports/Grafiken) oder aber die zu explorativen Zwecken genutzt werden sollen. werden nicht von anderen Datenprodukten verwendet.
  • 10. C2 – Internal Do’s and Don’ts of Data Mesh Insight von Kimeret Kimhi, BlaBlaCar 10 Data Governance comes first “[…] Your Data Governance Framework should be ideally set in place before re-organising. Why? Imagine giving a single team full autonomy with zero standards nor processes. You'll find yourself cleaning up a huge and expensive mess, one year down the line. […]” K. Kimhi, ‘Do’s and Don’ts of Data Mesh’, BlaBlaCar, Sep. 06, 2022. https://medium.com/blablacar/dos-and-don-ts-of-data-mesh-e093f1662c2d (accessed Sep. 23). Quelle: freepik.com
  • 11. C2 – Internal Minimale Governace: Beispiel der aktuellen Designregeln 11 Dies sind einige der speziellen Regeln für Data Products. Natürlich gelten alle Regeln der allgemeinen Data Governance wie Datenschutz, etc. hier implizit auch. Generell verfolgt die SBB ein «Offenheitsprinzip», das heisst, Daten sind intern von allen zugänglich, ausser es handelt sich um als vertraulich eingestufte Inhalte.
  • 12. C2 – Internal Toolunterstützung 12 Data Catalog Finden von Daten und Data Products Enterprise Architecture Repository Data Products und Schnittstellen designen Business-Data-Entities managen Analytical Data Platform Nutzen von Data Products data stores meta data Raw Foundation Insight metadata metadata metadata Data Product- meta definition Business Glossary: Business Data-Entities Data architecture physische Sicht auf „analytische Daten“ Der Data Catalog verbindet physische und fachliche Perspektiven und hält Benutzer und Verantwortliche Data product data products meta data
  • 13. C2 – Internal Ein neues Data Product erstellen 13 System Architect was Verantwortung – DP Epic/Features erstellen – Curator identifizieren Curator was Verantwortung – DP im Enterprise Architecture Repository erstellen System Architect was Verantwortung – DP in Analytical Data Platform bestellen – DP in Analytical Data Platform integrieren/ implementieren Curator was Verantwortung – DP im Data Catalog fachlich anreichern – DP mit Business Data Entities (Glossary) verknüpfen – DP mit Data Sets verknüpfen analytischer Bedarfsträger was Verantwortung – Data Catalog konsultieren – Bedarf für Anpassung von DP feststellen oder neues DP erstellen Rolle im Fach Rolle in DSO Data Product Bedarf feststellen planen entwerfen umsetzen dokumentieren Data Scientist Data Analyst Business Analyst … Data Product Owner Business Process Owner Data Steward (FDM) …
  • 14. C2 – Internal 14 Flussmessung Beispiel eines Raw Data Products im Enterprise Architecture Repository xyz2 Team k
  • 15. C2 – Internal Sicht des Data Products im Data Catalog 15 Flussmessung Flussmessung
  • 16. C2 – Internal Zusammenspiel der einzelnen Parteien anhand der Data Mesh Pfeiler 16 Angelehnt an: data-mesh.com Digital Solution Lead Analytics Manager Analytics Services
  • 17. C2 – Internal Herausforderungen 17 • Übernahme der Verantwortung für Data Products • Pflege der semantischen Metadaten • Bedarf an Data Products vs. Geschwindigkeit der Data Products-Erstellung vs. Qualitätsanforderungen • Data Products und experimentelle Analytics-Nutzung • Technisch noch kaum Standards und Plattformen (z.B. DP Market Places) • Etablierung der Qualitätsmessung für Data Products (Monitoring, Usage, …) • Grenze/Brücke von Data Products zu operationalen Daten
  • 18. C2 – Internal Beispiel: Technische Implementierung von Data Products über 2 technische Plattformen 18
  • 19. C2 – Internal Ausblick 19 • Automatisierung und Standardisierung (evtl. in Richtung ODPS) steigern • Zugang z.B. über internen DP-Marketplace noch einfacher machen • Ausweitung des Konzeptes über die Analytical Data Platform hinaus
  • 20. C2 – Internal Eine etwas ausschweifende Definition aus unserm Wörterbuch (… noch eine) 20 Ein Data Product ist ein IT-Komponente, welches dazu dient, Daten in nutzerorientierter Form für jegliche Datenkonsumentin bereitzustellen. Dazu bezieht es Daten aus Anwendungen oder anderen Data Products und transformiert diese in ein definiertes Format. Ein Data Product besteht aus Dateninhalt, Metadaten sowie dem Programmcode zu deren Transformation und Bereitstellung. Die Bereitstellung erfolgt auf einer dafür vorgesehenen Plattform, der Zugriff über vordefinierte Schnittstellen. Für ein Data Product ist immer eine verantwortliche Person festgelegt, die für deren Inhalte verantwortlich zeichnet.
pFad - Phonifier reborn

Pfad - The Proxy pFad of © 2024 Garber Painting. All rights reserved.

Note: This service is not intended for secure transactions such as banking, social media, email, or purchasing. Use at your own risk. We assume no liability whatsoever for broken pages.


Alternative Proxies:

Alternative Proxy

pFad Proxy

pFad v3 Proxy

pFad v4 Proxy