Mudeliprofiilid, kontekst ja Extra JSON

Mida profiil määrab

Mudel kirjeldab Sapphire I.C.D.S.-is tehnilisi võimalusi, profiil aga selle kasutamise reegleid. Ühe mudeli jaoks saab luua näiteks range tugiprofiili, napi klassifitseerimisprofiili ja laiendatud analüüsiprofiili. Igal profiilil on oma süsteemijuhis, vastuse pikkus ja kontekstieelarve, kuid kõik peavad jääma ühe registreeritud mudeli piiridesse.

Valige jaotises AI Settings → Profiles teenusepakkuja ja mudel. Need peavad omavahel sobima: profiili ei saa siduda teise teenusepakkuja mudeliga. Profile key on püsiv masinidentifikaator, näiteks support_ru. Ärge kasutage selles töötaja nime ega ajutist ülesandenumbrit. Lubatud profiili saab valida ning vaikeprofiili kasutatakse siis, kui klient ei nimeta konkreetset kirjet. Määrake default alles pärast kontrollimist.

Süsteemijuhis ja vastusevorming

System prompt määrab valitud režiimi rolli ja püsireeglid. Kirjutage see kontrollitava lepinguna: ülesannete ulatus, keel, tulemuse vorming, piirangud ja lõpetamiskriteerium. Ärge lisage siia API-võtmeid, isikuandmeid, kogu teadmistebaasi sisu ega juhiseid, mida operaator peab iga päringu jaoks muutma.

Käivitamisel alustab süsteem profiili süsteemijuhisega ja lisab lubatud haldusjuhised kohustusliku ettevõttepoliitikana. Seansi ajalugu ja selle kokkuvõte jäävad andmeteks. Mälu ja teadmistebaasi ei laadita tervikuna prompt'i: mudel saab neid nõudmisel lubatud tööriistade kaudu. Seetõttu ei asenda system prompt'i suurendamine juhiste, mälu, teadmiste ja tööriistaõiguste seadistamist.

Määrake Response format ainult kujul, mida valitud adapter ja mudel mõistavad. Tavalise dialoogi turvaline lähtekoht on tekstvastus. Kui vaja on struktureeritud JSON-i, kontrollige esmalt mudeli ja tarbija tuge: profiilis olev tekst üksi ei taga vastavust teie äriskeemile.

Reasoning, Temperature ja Top P

Kasutage Reasoning effort ainult mudelitega, mis sellist režiimi dokumenteerivad. Ärge kopeerige väärtust teisest perekonnast. Parameetritel Temperature ja Top P on eraldi lülitid. Kui parameeter on välja lülitatud, ei tohi profiil seda teenusepakkujale peale suruda; see on parem kui juhuslik nullväärtus. Tavaliselt piisab ühe varieeruvusviisi juhtimisest ja teine võib jääda välja. Faktide eraldamiseks ja klassifitseerimiseks valitakse stabiilsemad seaded, variantide genereerimiseks vabamad, kuid konkreetset vahemikku tuleb alati võrrelda mudeli dokumentatsiooniga.

Kuidas konteksti arvutatakse

Mudeli kirjes on kolm ülempiiri: kogukontekst, maksimaalne sisend ja maksimaalne väljund. Profiil määrab neli tööväärtust. Max output tokens piirab üht vastust. Active context tokens on eelarve, mida agent tohib kasutada. Compaction reserve tokens on osa sellest eelarvest, mis jäetakse turvaliseks kompaktimiseks. Automaatne lävi on:

active_context_tokens - compaction_reserve_tokens

Reserv peab olema positiivne ja aktiivsest eelarvest rangelt väiksem. Aktiivne eelarve ei tohi ületada mudeli maksimaalset sisendit, vastusepiir maksimaalset väljundit ning nende summa kogukonteksti. Näiteks konteksti 128000, sisendi 120000 ja väljundi 8192 korral võib määrata aktiivseks eelarveks 64000, reserviks 16000 ja vastuseks 4096. Kompaktimislävi on siis 48000. See on vaid aritmeetiline näide, mitte universaalne soovitus igale mudelile.

Maximum agent rounds piirab mudeli ja tööriista vaheliste tsüklite arvu ning Maximum agent runtime koguaega sekundites. Väärtus 0 tähendab ainult selle profiilipiiri puudumist, kuid ei tühista teenusepakkuja piiranguid, kasutajapoolset katkestamist, edenemise puudumise kaitset ega süsteemipiiranguid. Kriitilise või kuluka stsenaariumi jaoks määrake selged lõplikud väärtused ja mõõtke tegelikku tööd enne nende suurendamist.

Voogedastus ja mudeli vahetamine

Streaming-lüliti määrab eelistatud vastuse edastamise viisi. See ei muuda sünkroonset API-t voogedastuseks, kui teenusepakkuja seda ei toeta. Mudeli vahetamisel looge uus profiil või arvutage kõik eelarved hoolikalt ümber. Ühe teenusepakkuja ja mudeliga seotud kompaktimisolekut ei saa pidada teisele paarile ülekantavaks.

Extra JSON ilma varjatud üllatusteta

Extra JSON on valikuline JSON-objekt konkreetse teenusepakkuja dokumenteeritud lisaparameetrite jaoks. See on laiendus, mitte teine profiil. Alustage tühja objektiga:

{}

Kui API tõesti nõuab lisavalikut, lisage ainult see. Neutraalne vorminäide:

{
  "metadata": {
    "integration": "sapphire-docs"
  }
}

Näide sobib ainult siis, kui valitud API toetab välja metadata. JSON peab olema topeltjutumärkidega objekt, ilma kommentaaride ja lõpus olevate komadeta. Ärge pange siia secret'i, Authorization'it, base URL-i, model key väärtust, kasutaja identifikaatoreid ega konfidentsiaalset sisu.

Ärge dubleerige Extra JSON-is päringu põhivälju, nagu mudel, tööriistad, tööriistavalik, sisendsõnumid, temperature, Top P ja max output tokens. Konflikt raskendab diagnostikat ja võib pärast adapteri uuendamist käitumist muuta. Väli enable_tools ei ole tööriistahalduse eiramise viis ning juhitavat kontekstipoliitikat ei tohi suvalise seadistusega asendada. Tööriistu lubavad serverikataloog, rühmaõigused ja seansi valik.

Profiili kontrollimine

1. Salvestage profiil lubatuna, kuid ärge määrake seda vaikeprofiiliks.
2. Looge uus seanss ja valige profiil selgesõnaliselt.
3. Kontrollige lühikest vastust, süsteemijuhist ja määratud vormingut.
4. Tehke pikk test, jälgides kontekstiläve ja kompaktimist.
5. Kontrollige vooru- ja ajapiiril peatumist, kui piirangud pole nullid.
6. Lisage Extra JSON-i võtmed ükshaaval ja korrake testi.
7. Alles seejärel määrake profiil default'iks.

Kui päring lükatakse tagasi, tühjendage esmalt Extra JSON, lülitage valikulised sampling-parameetrid välja ja korrake minimaalset testi. Seejärel kontrollige piiranguid ning reasoning/response format tuge. Selline järjekord eristab baasregistreerimise vea ühildumatust lisavalikust.

Kuidas valida eelarve suurust

Alustage mitte mudeli maksimumist, vaid mõõdetud tööstsenaariumist. Hinnake süsteemijuhise pikkust, tüüpilist ajalugu, oodatavaid tööriistatulemusi ja vastusevaru. Liiga suur active context suurendab kulu ja töötlemisaega, liiga väike põhjustab sagedast kompaktimist. Reserv peab võimaldama luua korrektse kokkuvõtte enne kõva piiri saavutamist, seega ei tohi seda vähendada sümboolseks väärtuseks.

Eraldage eri ülesannete profiilid, kui nende nõuded pikkusele, reasoning'ule või ajale erinevad. Üht „universaalset” profiili on raskem kontrollida ja turvaliselt muuta. Fikseerige tööprotseduuri nimes ja kirjelduses profiili otstarve, kuid ärge kodeerige marsruutimist ega õigusi system prompt'i: profiili valikut ja tööriistade lubamist juhivad teised kihid.