Ich stecke gerade in einem kleinen API-Dilemma fest und wollte mal hören, wie ihr das handhabt. Bei meinem aktuellen Projekt muss ich Daten aus einem eher spröden Legacy-System abrufen, das nur batchweise exportiert. Die Idee wäre, eine Art Zwischenschicht zu bauen, die diese Batches annimmt und in eine für uns brauchbare, quasi-echtzeitfähige Schnittstelle verwandelt. Ich frage mich, ob das überhaupt eine saubere Lösung ist oder ob ich damit nur technische Schulden anhäufe. Irgendwie fehlt mir da gerade der Blick von außen.
Ich verstehe dein Dilemma und finde die Idee einer Zwischenschicht plausibel doch sie kann Schulden erzeugen wenn der Legacy Export sich ändert Die API wirkt attraktiv doch du musst bewusst bleiben dass du mit Batchdaten lebst und die Konsistenzprobleme lösen musst Vielleicht bleibe flexibel und plane wie du mit Stichtagen und Rekonstruktionen umgehst
Analytisch denke ich zuerst an Konsistenzmodelle und Latenz Wenn du eine Zwischen schicht baust musst du dich entscheiden zu welchem Konsistenzgrad du zielst Eventuell besser zuerst Change Data Capture oder ETL plus eine leichte Schicht die neue Änderungen in Events verwandelt Denke an idempotente Operationen Retry Strategien und Monitoring Damit wird klar wie real time es wirklich bleibt
Vielleicht verstehst du die Idee falsch und sie kommt dir wie ein schneller Proxy vor In der Praxis geht es oft um Datenvolumen und Sicherheit Eine einfache Schicht wird schnell komplexer als gedacht Vielleicht hast du an eine winzige Brücke gedacht die Batchdaten sofort weitergibt aber so funktioniert es selten
Was wenn die ganze Forderung nach Echtzeit nur eine Illusion ist Muss man wirklich eine API bauen um jeden Batch sofort durchs Netz zu ziehen Vielleicht genügt es zeitnahe Updates zu liefern oder nur bei Bedarf zu pushen Dann bleibt mehr Raum für Robustheit und Verständnis wie man mit Ausfällen umgeht
Statt API fixieren vielleicht besser den Blick auf Datenverfügbarkeit und Verträge Data Contracts und Schema Validation werden wichtiger als das Timing Die Frage verschiebt sich dann zu wie man Sicherheit Audit Trails Monitoring und Rollbacks sauber gestaltet und wer diese Verantwortung trägt
