MÉTIS
Kann ein kleines, selbst trainiertes Modell einem größeren lokalen Sprachmodell helfen, strukturierte Aufgaben effizienter zu lösen – ohne Einbußen bei der Korrektheit?
Forschungsarchiv · P2 · experimentellGelernte Vorschläge statt zusätzlicher Sprachmodellarbeit?
MÉTIS ist ein spezialisierter kleiner Transformer. Er erzeugt mögliche Lösungen für bereits formalisierte Constraint-Aufgaben. Diese Kandidaten können unabhängig geprüft und einem größeren lokalen Sprachmodell als Hinweise zur Verfügung gestellt werden.
Die zentrale Forschungsfrage ist, ob gelernte Hinweise einen messbaren Mehrwert gegenüber keinem Hinweis, Zufallskandidaten oder deterministischen Heuristiken liefern – und ob dieser Vorteil auch dann besteht, wenn alle zusätzlichen Rechen- und Prüfkosten berücksichtigt werden.
P2: 679.571 Parameter
Die dokumentierte P2-Architektur hat 679.571 trainierbare Parameter. Das Repository enthält P2-Quellcode, sieben ausgewählte Checkpoints, sieben synthetische Datensplits sowie historische Auswertungen. MÉTIS ist kein universelles Sprachmodell und die dokumentierten Experimente betreffen formalisierte Aufgaben.
Integritätsprüfungen und eine erneute Aggregation gespeicherter Ergebnisse sind vorgesehen. Das ursprüngliche Training und die historischen Qwen-Ausführungen wurden für diese Dokumentation nicht unabhängig wiederholt. Vollständige Vergleiche mit P1 benötigen teils nicht vorhandene frühere Artefakte.
Was die Nachweise tatsächlich belegen
Prüfbare Archivintegrität und nachvollziehbare Auswertung gespeicherter Daten sind nicht mit einer unabhängigen Wiederholung historischer Trainingsläufe gleichzusetzen.
Vier Bedingungen, zwölf Aufgaben
Im archivierten Versuch bearbeitete qwen3.5:latest zwölf bereits strukturierte Aufgaben bei Temperatur 0 und deaktiviertem Thinking. Verglichen wurden: kein Hinweis, MÉTIS-P2-Vorschlag, Zufallskandidat und Min-Conflicts mit 256 Prüfungen.
Die veröffentlichten Werte sind eine deskriptive Zusammenstellung aus fortgesetzten Teilläufen (run_03 bis run_05), nicht ein einzelnes vorregistriertes oder mehrfach unabhängig repliziertes Experiment.
| Bedingung | Gelöst | Qwen-Ausgabetokens | Qwen-Antwortzeit |
|---|---|---|---|
| A · Kein Vorschlag | 11/12 | 40.559 | 2.045,3 s |
| B · MÉTIS P2 | 10/12 | 36.241 | 1.892,8 s |
| C · Zufallskandidat | 10/12 | 52.074 | 2.819,2 s |
| D · Min-Conflicts (256 Prüfungen) | 11/12 | 24.910 | 1.367,5 s |
Einordnung: MÉTIS P2 benötigte 10,6 % weniger Qwen-Ausgabetokens als A, löste aber eine Aufgabe weniger. Min-Conflicts erzielte bei gleicher Lösungszahl wie A den geringsten Tokenverbrauch. Angegebene Zeiten sind Qwen-Antwortzeiten und schließen zusätzliche End-to-End-Kosten nicht vollständig ein.
Damit ist weder ein allgemeiner Beschleunigungseffekt noch eine kausale Verbesserung durch gelernte MÉTIS-Vorschläge nachgewiesen. Auch der ursprüngliche 12-Aufgaben-Vergleich ist für belastbare Verallgemeinerungen zu klein.
Gemeldet, noch nicht unabhängig reproduziert
Der Projektbericht vom 18. Oktober 2026 beschreibt weiteres Training. Für eine gelernte Kontrollstrategie (C4) wird ein Nutzen von +0,015 gegenüber einer Regel mit p < 0,001 berichtet. Bei P2 war diese Verbesserung nicht gezeigt worden (p = 0,906).
Das Repository enthält derzeit keine P3-Checkpoints, vollständigen Rohbewertungen oder kompletten Trainingskonfigurationen, um die berichteten Zahlen unabhängig nachzurechnen. Bei schweren K4-Aufgaben bleibt die P3-Leistung laut Bericht hinter Min-Conflicts zurück. Der Qwen-Vergleich oben nutzte P2, nicht P3.
Was noch offen ist
Offen bleibt, ob MÉTIS ein großes Sprachmodell auf schwacher Hardware im vollständigen End-to-End-Vergleich beschleunigen kann. Dafür fehlen kontrollierte, wiederholte Tests mit festgelegtem Modelldigest, gleichem Aufgaben- und Rechenbudget sowie erfassten Kosten für Erzeugung, Prüfung, Laden und Cache-Effekte.
Die Forschung dokumentiert auch das Risiko falsch leitender Hinweise, die die Genauigkeit eines Sprachmodells verschlechtern können. Eine Eignung für freie natürlichsprachliche Probleme oder allgemeine LLM-Leistungssteigerung ist nicht gezeigt.
Das Repository ist öffentlich. Seine Release-Checkliste enthält jedoch weiterhin offene Prüfungen, unter anderem zu Provenienz, Rechten, Modellartefakten und unabhängiger Bewertung. Apache-2.0 gilt laut Lizenzhinweisen für berechtigte eigene Quelltexte und Dokumentation, nicht pauschal für alle archivierten Gewichte oder Datensätze.
Transparenz statt Erfolgsbehauptung
Ein geringerer Tokenverbrauch reicht nicht aus, wenn weniger Aufgaben gelöst werden oder zusätzliche Kosten außerhalb der Messung liegen. Der dokumentierte Negativ- und Baseline-Vergleich gehört deshalb ausdrücklich zum Forschungsstand.
Methodik und Nachweise lesen
Die folgenden Unterlagen sind über das nun öffentlich erreichbare GitHub-Repository einsehbar. Die Links zeigen auf den festgehaltenen Commit, der diesem ARKEIN-Abgleich zugrunde liegt.
- README – Überblick
- Methodik und Vergleichsbedingungen
- Ergebnisse und vierarmiger Vergleich
- P3 – gemeldeter Fortschritt
- Grenzen der Ergebnisse
- Reproduzierbarkeit
- Lizenzumfang und Rechte
- Noch offene Freigabeprüfungen
Quellenstand: 20. Oktober 2026 · GitHub-Commit 0c8ce163. Dieser Seitenabgleich überprüft dokumentierte Aussagen gegen veröffentlichte Quellen; er ersetzt keine unabhängige Wiederholung der Experimente.