Die Daten sind aufbereitet, das Modell ist ausgewählt – nun folgt der entscheidende Schritt: das Training des Modells. In dieser Phase lernt das Modell aus bereitgestellten Trainingsdaten. Ziel ist es, dass das Modell danach in der Lage ist, neue Nachrichten korrekt als Spam oder Ham zu klassifizieren.
Der Einfachheit halber entwickeln wir das Modell nicht von Grund auf selbst, sondern konzentrieren uns ausschliesslich auf das Training eines bestehenden Modells. So können wir den Fokus auf das Verständnis des Trainingsprozesses und die Wirkung der Daten legen, ohne uns mit der komplexen mathematischen und technischen Implementierung eines Modells beschäftigen zu müssen.
Modelle können grundsätzlich mit verschiedensten Programmiersprachen und Tools erstellt und trainiert werden. Beliebte Frameworks (vorgefertigte Softwarestruktur, stellt Werkzeuge, Bibliotheken und Regeln bereit, um Anwendungen oder Modelle zu erstellen) sind z.B. TensorFlow und PyTorch (für die Programmiersprache Python). Für dieses Projekt haben wir bewusst Microsoft Excel gewählt. Es bietet genügend Funktionalität, um einfache Modelle zu trainieren und die zugrunde liegenden Prinzipien nachvollziehbar darzustellen.
Als Trainingsdaten nutzen wir das Datenset synthetic-spam-detection-dataset-german[1] (zur Verfügung gestellt auf Hugging Face).
Aufgabe: zum Training
Lade das Modell (Excel-Datei) herunter und öffne das Arbeitsblatt Trainingsdaten.
Kopiere die Trainingsdaten (also 40 Datensätze) aus deinem Datenset (siehe Datenaufbereitung) in das Arbeitsblatt Trainingsdaten.
Versuche nachzuvollziehen, was mit den eingefügten Datensätzen in den Arbeitsblättern Datenverarbeitung und Wortanalyse passiert.
Quelle: https://huggingface.co/datasets/tanaos/synthetic-spam-detection-dataset-german (Lizenz: MIT) ↩︎