Scope-Steckbrief signal-steering. Wie Agentic AI im Measurement & Steering helfen kann, wenn mehrere Methoden denselben Kanal messen und zu unterschiedlichen Antworten kommen. Belegt ist: Trianguliertes Mess- und Steuerungssystem als Prototyp entwickelt. Gegen eine bekannte Wahrheit prüfbar (Methoden treffen den Wert). Einsatzfelder: Methoden-Assemblierung, Hypothesentests, Anomalie-Erkennung. Nicht belegt ist: Produktionsreife. Funktion auf realen Daten im Maßstab. Validierung auf echtem Spend (bewusst ausgeklammert).
signal-steering
Wie Agentic AI im Measurement & Steering helfen kann, wenn mehrere Methoden denselben Kanal messen und zu unterschiedlichen Antworten kommen.
- Zielsetzung
-
Prüfen, wo Agentic AI bei Measurement und Budget-Steuerung helfen kann, wenn mehrere Methoden zu unterschiedlichen Antworten kommen.
Als Testfall entstand ein trianguliertes Mess- und Steuerungssystem. Ziel war nicht ein fertiges Produkt, sondern eine belastbare Einschätzung, wo agentische KI in diesem Feld nützlich ist.
- Vorgehen
-
Triangulation der Messung auf synthetischen Daten mit bekannter, festgelegter Wahrheit.
Ein repräsentatives Measurement-&-Steering-Problem wurde rekonstruiert: Plattform-Attribution, Geo-Incrementality und MMM auf denselben Daten, Steuerung auf den inkrementellen Wertbeitrag statt auf die Plattform-Zahl, plus Erkennen fehlerhafter Signale. Der synthetische Datensatz ist methodisch notwendig. Nur bei bekanntem wahrem Wert lässt sich prüfen, ob die Methoden ihn treffen. Keine echten, fremden oder Live-Spend-Daten. Entwickelt mit agentischer KI, damit ihr Beitrag sichtbar wird.
- Rolle der agentischen KI
-
Ein fachliches Profil kann heute deutlich weiter kommen als noch vor wenigen Jahren.
Beobachtung aus diesem Fall: Datengenerierung, MMM (PyMC-Marketing), Geo-Incrementality (DID/GeoLift), Allokationslogik und Oberfläche entstanden in Wochen, ohne Entwicklungs-Team. Nicht bis zum produktionsreifen System. Aber weit genug, um die richtigen methodischen Fragen am laufenden Modell zu prüfen. Die Entscheidung, welche Methoden trianguliert werden und wie das Signal zu lesen ist, blieb beim Menschen.
Belegt
- Trianguliertes Mess- und Steuerungssystem als Prototyp entwickelt
- Gegen eine bekannte Wahrheit prüfbar (Methoden treffen den Wert)
- Einsatzfelder: Methoden-Assemblierung, Hypothesentests, Anomalie-Erkennung
Nicht belegt · ausgeklammert
- Produktionsreife
- Funktion auf realen Daten im Maßstab
- Validierung auf echtem Spend (bewusst ausgeklammert)
Meta · Skai · Marin
Haus · INCRMNTAL
Recast · Mutinex
Das ganze System in einem Bild. Darunter Schritt für Schritt, woran es hängt.
Die gängigste Zahl lügt
Jede Budget-Entscheidung hängt an einer Zahl: Was hat dieser Kanal wirklich zusätzlich gebracht? Die Standard-Antwort der Plattform ist Last-Click. Für PMax meldet sie einen iROAS von 5,02. Real sind es 2,50. Die Plattform schreibt sich Umsatz gut, der auch ohne sie gekommen wäre. Wer dieser Zahl folgt, setzt doppelt auf einen Kanal, der die Hälfte wert ist.
Wie kann 2,50 „die Wahrheit" sein?
In der Realität kennt niemand den echten Wert. Was ein Kanal zusätzlich gebracht hat, ist ein Was-wäre-wenn, das nie stattgefunden hat. Man misst also immer im Dunkeln. Deshalb erzeugt der Prototyp eine Welt, in der die Wahrheit feststeht: synthetische Daten mit einem bewusst festgelegten Effekt. So wird Messung zum ersten Mal prüfbar.
Das ist nicht zirkulär. Die Methoden bekommen die Antwort nicht gesagt, sie müssen sie blind aus den Daten zurückrechnen. Festgelegt ist die Welt, nicht das Ergebnis. Wie im Flugsimulator: Die Physik steht fest, der Pilot muss trotzdem fliegen. Wer hier die 2,50 verfehlt, verfehlt sie in der Realität erst recht, nur ohne es je zu merken.
Ein gutes System weiß, wann es nichts weiß
Für Meta gab es kein Experiment zum Kalibrieren. Das Modell rät dann 10,05, offensichtlich daneben. Statt das zu kaschieren, meldet es den blinden Fleck selbst, über seine eigene Konvergenz-Diagnose (R-hat ✗). Die Steueraussage daraus ist konkret: Der nächste Geo-Test gehört auf Meta.
Das Thema ist nicht das Modell. Es ist die Entscheidung dahinter: Welcher Zahl traut man, wenn drei Methoden sich widersprechen, und wohin steuert man das nächste Budget. Der Prototyp macht diese Entscheidung sichtbar und prüfbar, bevor echtes Geld daran hängt.