Ich stehe gerade vor einer Entscheidung und weiß nicht so recht, was ich davon halten soll. Für ein kleines persönliches Projekt habe ich angefangen, eine lokale LLM-Instanz mit einer einfachen RAG-Erweiterung zu nutzen, um meine eigenen Notizen durchsuchbar zu machen. Es funktioniert überraschend gut, aber jetzt überlege ich, ob ich die ganze Pipeline in eine containerisierte Umgebung packen sollte. Einerseits wäre das sauberer und portabler, andererseits fühlt es sich für mein bescheidenes Vorhaben fast schon nach Overkill an. Ich frage mich, ob ich mir damit nur unnötig Arbeit mache, oder ob der Aufwand langfristig doch Sinn ergibt. Hat jemand ähnliche Gedanken gehabt?
Klingt nach einer sinnvollen Idee für die Zukunft deines Projekts. Containerisierung sorgt für stabilere Abhängigkeiten und macht dein Setup leichter auf anderen Rechnern nachzu bauen. Ob das jetzt sinnvoll ist hängt davon ab wie oft du das Ganze noch erneuern musst und ob du es später teilen willst.
Ich finde den sauberheitsgedanken gut aber genau hier kommt der Haken. Eine Containerlösung braucht Zeit zum Einrichten und pflegen damit sie wirklich sauber bleibt. Wenn dein Ziel Ruhe vor Überraschungen ist dann lohnt es sich vielleicht später.
RAG hier bedeutet Retrieval Augmented Generation also eine Art Gedächtnisdienst für deine Notizen in der großen Pipeline. Man könnte es missverstehen und denken dass es einfach nur schnell geht doch am Ende steckt viel Orchestrierung drin.
Vielleicht ist der Overkill gar nicht schlimm weil du später mit mehreren Datensätzen und Ideen arbeitest. Containerisierung zahlt sich aus wenn du das Setup weitergeben oder automatisieren willst. Ansonsten bleib lieber flexibel.
Was wenn der eigentliche Mehrwert nicht darin besteht alles in einem Container laufen zu lassen sondern die Trennung von Modell und Daten klar zu strukturieren. Dann könntest du schichten statt alles zusammen zu werfen?
Vielleicht geht es ja weniger um Containerisierung als um das größere Thema Lernkurve und Wartbarkeit. Containerisierung kann eine gute Struktur geben aber was du wirklich willst ist eine einfache Handhabe die du auch in der Zukunft nutzen kannst. Vielleicht reicht es erst mal mit einer klaren Struktur und einem kleinen Script.
