5.3 Iterační smyčka
Iterační smyčka
Neustálé zlepšování prostřednictvím zpětné vazby
Čtyřkroková smyčka
Spusťte Skill s testovacím promptem
Začněte realistickým use case, který představuje typické použití.
Porovnejte výstup s očekáváním
Zkontrolujte formát, obsah, úplnost. Zaznamenejte jakékoli odchylky od očekávaného chování.
Upravte instrukce nebo příklady
Přizpůsobte části, které nefungovaly. Přidejte příklady, ujasněte kroky, přidejte guardrails.
Opakujte do konzistence
Cílte na 5 a více úspěšných běhů v řadě s různými vstupy.
Výkonnostní základ
| Metrika | Bez skillu | Se skillem |
|---|---|---|
| Zprávy | 15 tam a zpět | 2 upřesňující otázky |
| Neúspěšná API volání | 3 | 0 |
| Spotřeba tokenů | 12 000 | 6 000 |
Použijte tato čísla jako výkonnostní základ. Po každé iteraci změřte, zda se váš Skill zlepšuje nebo zhoršuje.
Veďte si log změn
Sledujte, co jste změnili a proč. Pomůže vám to pochopit, které vzory instrukcí fungují nejlépe, a urychlí budoucí vývoj Skills.
Klesající výnosy
Po 3-4 iteracích většina Skills dosáhne plató. Pokud stále opravujete problémy po 5 iteracích, zvažte, zda není rozsah vašeho Skillu příliš široký.
Princip iterace
Iterační smyčka je místo, kde se dobré Skills stávají skvělými. Každý cyklus vás naučí psát lepší instrukce, vytvářet přesnější triggery a zvládat více okrajových případů. Přijměte tento proces.
Krok za krokem proces zdokonalování s výkonnostním základem.
Momentálně nejsou žádné komentáře.