Ich stehe gerade vor einer kleinen, aber für mich wichtigen Frage in meinem aktuellen Projekt. Ich arbeite viel mit unstrukturierten Textdaten und habe das Gefühl, dass meine bisherigen Ansätze zur Vorverarbeitung irgendwie an der Oberfläche kratzen. Besonders wenn es darum geht, die eigentliche Bedeutung hinter den Worten für das Modell wirklich zugänglich zu machen, komme ich ins Grübeln. Vielleicht fehlt mir einfach eine systematischere Herangehensweise. Wie geht ihr damit um, dass eure Modelle den Kontext und die Nuancen in Texten nicht nur sehen, sondern auch verstehen lernen?
Kontext fühlt sich für mich wie Luft in einer Geschichte. Vorverarbeitung soll den roten Faden finden und nicht nur Wörter aneinanderreihen.
Aus analytischer Sicht gliedere ich das Problem in Schichten. Zuerst Tokenisierung, dann semantische Felder und schließlich Hinweise auf den Diskurs Gesamtzusammenhang.
Vielleicht missverstehe ich den Ansatz leicht. Ist das nur eine Frage der Fenstergröße oder geht es um etwas Tieferes?
Vorverarbeitung allein reicht oft nicht. End to end Training mit gezielter Merkmalsauswahl kann Nuancen besser sichtbar machen.
Vielleicht sollen wir den Blick neu rahmen und statt reinem Verstehen auf Nutzbarkeit zielen damit das Modell flexibel auf Unsicherheit reagiert.
Begrifflich taucht latente Semantik auf doch wie man sie fassbar macht bleibt offen und gibt Raum für Experimente statt klarer Regeln
