Ich sitze gerade an einem Projekt, bei dem wir Kundendaten aus drei verschiedenen Quellen zusammenführen müssen. Eigentlich dachte ich, die größte Hürde wäre die technische Umsetzung, aber jetzt stehe ich vor der Frage, wie wir eigentlich sicherstellen können, dass die zusammengeführten Daten überhaupt noch vertrauenswürdig sind. Die Abteilungen haben ganz unterschiedliche Wege, wie sie Informationen pflegen und klassifizieren. Mir fehlt irgendwie ein klares Gefühl dafür, ob am Ende ein konsistentes Bild entsteht oder ob wir uns in Details verlieren, die die Aussagekraft kaputtmachen.
Aus meiner Sicht braucht es zuerst eine klare Datenlandschaft und eine Semantikabstimmung der drei Quellen. Danach legt ihr Regeln fest wann Werte passen und wann sie ausscheiden. Eine wichtige Idee ist die datenqualität und die Definition von Grenzwerten und Abweichungen und eine Abgleichlogik die Felder miteinander vergleicht und eine Zuordnung vornimmt.
Ich merke wie mir ein mulmiges Gefühl in der Brust bleibt wenn beim Merge plötzlich ganz andere Kategorien auftauchen und man sich fragt ob der Kundennamen wirklich zuverlässig ist. Die Sorge dass man am Ende eine Geschichte erzählt die so nicht stimmt macht Stress und ich wünsche mir echte Transparenz statt schöner Dashboards.
Vielleicht ist das Ziel eines einzigen konsistenten Bildes sogar eine Falle denn Unterschiede in Bedeutungen machen Daten erst sinnvoll wenn man sie nicht ignoriert. Wer sagt dass alle Abteilungen dieselben Kriterien nutzen und wer prüft ob eine vermeintliche Konsistenz nicht nur eine Vereinfachung ist?
Vielleicht hilft es die Idee von Datenprodukten zu nutzen statt von einer monolithischen Datenansicht. Statt nur Tabellen zu vereinen bauen wir Verträge zwischen Abteilungen auf und definieren was geschaffen wird wenn eine neue Quelle dazukommt. So bleibt Offenheit statt totaler Einigung und man erkennt früh wann etwas abnormal ist.
Mir scheint die Sache rückt zu sehr in das Reich der Technik also dachte ich wir bauen einfach eine Schnittstelle zwischen Systemen und fertig ist die Geschichte am Ende zählt doch nur dass die Zahlen passen.
Was wenn der Wunsch nach einer konsistenten Sicht nur eine Illusion ist und der eigentliche Wert darin liegt zu zeigen wo sich Aussagen widersprechen ohne sofort zu glätten?
