95 % der Prompts schöpfen die Fähigkeiten großer Sprachmodelle nur zu weniger als der Hälfte aus
Die Wortstellung bestimmt das Gewicht.
Dieses Verständnis ist die Grundlage für alles Prompt Engineering.
Wenn man einem Modell sagt: „A white cat with a red scarf, on a wooden table, soft morning light“,
ist der Schal nur eine Formulierung als Ergänzung hinter dem Wort „cat“.
Das Modell verteilt den Großteil seiner Aufmerksamkeit auf die Katze,
der Schal wird zu einem vernachlässigbaren Zusatzmerkmal.
Eine andere Schreibweise:
„A white cat on a wooden table. It wears a red scarf. Soft morning light.“
, der Schal wird als eigener Satz beschrieben, und das visuelle Gewicht steigt augenblicklich.
Das Modell behandelt den Schal als eigenständiges Element,
er tritt im Bild stärker in Erscheinung und wird mit höherer Wahrscheinlichkeit korrekt gerendert.
Das ist kein Unterschied in der Rhetorik im sprachwissenschaftlichen Sinne.
In der Attention-Mechanik eines Transformers
bekommen Entitäten in separaten Sätzen eine längere Token-Sequenz und eine klarere Positionskodierung.
Das Modell weist ihnen damit mehr Aufmerksamkeitsgewicht zu.
Viele Prompts fügen zwar „und“ bzw. Zusatzinformationen hinzu, aber ohne Wirkung.
Wahrscheinlich wurde es als Attributsatz formuliert, statt als eigener Satz.
Wenn du das verstanden hast, kannst du erst von „Prompt entwerfen“ sprechen,
und nicht nur davon, „einen Prompt zu schreiben“.
Bevor jedes Wort in den Prompt kommt,
solltest du klar wissen, welchen Platz es im Gewichtssystem einnimmt.
Die Wortstellung bestimmt das Gewicht.
Dieses Verständnis ist die Grundlage für alles Prompt Engineering.
Wenn man einem Modell sagt: „A white cat with a red scarf, on a wooden table, soft morning light“,
ist der Schal nur eine Formulierung als Ergänzung hinter dem Wort „cat“.
Das Modell verteilt den Großteil seiner Aufmerksamkeit auf die Katze,
der Schal wird zu einem vernachlässigbaren Zusatzmerkmal.
Eine andere Schreibweise:
„A white cat on a wooden table. It wears a red scarf. Soft morning light.“
, der Schal wird als eigener Satz beschrieben, und das visuelle Gewicht steigt augenblicklich.
Das Modell behandelt den Schal als eigenständiges Element,
er tritt im Bild stärker in Erscheinung und wird mit höherer Wahrscheinlichkeit korrekt gerendert.
Das ist kein Unterschied in der Rhetorik im sprachwissenschaftlichen Sinne.
In der Attention-Mechanik eines Transformers
bekommen Entitäten in separaten Sätzen eine längere Token-Sequenz und eine klarere Positionskodierung.
Das Modell weist ihnen damit mehr Aufmerksamkeitsgewicht zu.
Viele Prompts fügen zwar „und“ bzw. Zusatzinformationen hinzu, aber ohne Wirkung.
Wahrscheinlich wurde es als Attributsatz formuliert, statt als eigener Satz.
Wenn du das verstanden hast, kannst du erst von „Prompt entwerfen“ sprechen,
und nicht nur davon, „einen Prompt zu schreiben“.
Bevor jedes Wort in den Prompt kommt,
solltest du klar wissen, welchen Platz es im Gewichtssystem einnimmt.