Modelprofielen, context en Extra JSON

Wat een profiel bepaalt

Een model beschrijft in Sapphire I.C.D.S. de technische mogelijkheden, terwijl een profiel de gebruiksregels vastlegt. Voor één model kunt u bijvoorbeeld een strikt ondersteuningsprofiel, een beknopt classificatieprofiel en een uitgebreid analyseprofiel maken. Elk heeft een eigen systeeminstructie, antwoordlengte en contextbudget, maar ze moeten allemaal binnen de limieten van hetzelfde geregistreerde model blijven.

Selecteer in AI Settings → Profiles de provider en het model. Die moeten bij elkaar horen: een profiel kan niet aan het model van een andere provider worden gekoppeld. Profile key is een stabiele machine-identificatie, bijvoorbeeld support_ru. Gebruik daarin geen naam van een medewerker of tijdelijk taaknummer. Een ingeschakeld profiel kan worden geselecteerd; het standaardprofiel wordt gebruikt wanneer de client geen specifiek record opgeeft. Stel default pas na controle in.

Systeeminstructie en antwoordformaat

System prompt bepaalt de rol en vaste regels van de gekozen modus. Schrijf deze als een controleerbaar contract: taakgebied, taal, resultaatformaat, beperkingen en voltooiingscriterium. Plaats hierin geen API-sleutels, persoonsgegevens, de volledige kennisbank of instructies die de operator voor iedere aanvraag moet wijzigen.

Bij het starten begint het systeem met de systeeminstructie van het profiel en voegt het ingeschakelde beheerinstructies toe als verplicht bedrijfsbeleid. De sessiegeschiedenis en de samenvatting daarvan blijven gegevens. Geheugen en kennisbank worden niet volledig in de prompt geladen: het model krijgt ze op verzoek via toegestane hulpmiddelen. Een langere system prompt vervangt daarom niet de configuratie van instructies, geheugen, kennis en hulpmiddelrechten.

Stel Response format alleen in op een vorm die de gekozen adapter en het model begrijpen. Voor een gewoon gesprek is een tekstantwoord een veilig uitgangspunt. Als gestructureerde JSON nodig is, controleert u eerst de ondersteuning door model en afnemer: een tekst in het profiel garandeert op zichzelf geen naleving van uw bedrijfsschema.

Reasoning, Temperature en Top P

Gebruik Reasoning effort alleen voor modellen die zo'n modus documenteren. Kopieer geen waarde van een andere familie. Temperature en Top P hebben afzonderlijke schakelaars. Als een parameter uitstaat, mag het profiel die niet aan de provider opleggen; dat is beter dan een toevallige nulwaarde. Gewoonlijk volstaat het één vorm van variatie te beheren en de andere uitgeschakeld te laten. Voor feitenextractie en classificatie kiest u stabielere instellingen, voor het genereren van varianten vrijere, maar het concrete bereik vergelijkt u altijd met de modeldocumentatie.

Hoe context wordt berekend

Het modelrecord bevat drie bovengrenzen: totale context, maximale invoer en maximale uitvoer. Het profiel bepaalt vier werkwaarden. Max output tokens begrenst één antwoord. Active context tokens is het budget dat de agent mag gebruiken. Compaction reserve tokens is het deel daarvan dat voor veilige compactie wordt gereserveerd. De automatische drempel is:

active_context_tokens - compaction_reserve_tokens

De reserve moet positief zijn en strikt kleiner dan het actieve budget. Het actieve budget mag niet groter zijn dan de maximale modelinvoer, de antwoordlimiet niet groter dan de maximale uitvoer, en hun som niet groter dan de totale context. Bij een context van 128000, invoer van 120000 en uitvoer van 8192 kunt u bijvoorbeeld een actief budget van 64000, een reserve van 16000 en een antwoord van 4096 instellen. De compactiedrempel wordt dan 48000. Dit is slechts een rekenvoorbeeld en geen universeel advies voor ieder model.

Maximum agent rounds begrenst het aantal cycli tussen model en hulpmiddel; Maximum agent runtime begrenst de totale tijd in seconden. De waarde 0 betekent dat alleen dit profielplafond ontbreekt, maar heft geen providerlimieten, annulering door de gebruiker, bescherming tegen gebrek aan voortgang of systeembeperkingen op. Stel voor een kritisch of kostbaar scenario expliciete eindige waarden in en meet de werkelijke uitvoering voordat u ze verhoogt.

Streaming en van model wisselen

De streaming-schakelaar bepaalt de voorkeurswijze waarop het antwoord wordt geleverd. Deze maakt een synchrone API niet streamend als de provider dat niet ondersteunt. Maak bij een modelwissel een nieuw profiel of bereken alle budgetten zorgvuldig opnieuw. Een compactiestatus die aan één provider en model is gekoppeld, kan niet als overdraagbaar naar een ander paar worden beschouwd.

Extra JSON zonder verborgen verrassingen

Extra JSON is een optioneel JSON-object voor aanvullende parameters die door de concrete provider zijn gedocumenteerd. Het is een uitbreiding, geen tweede profiel. Begin met een leeg object:

{}

Als de API werkelijk een extra optie vereist, voegt u alleen die optie toe. Een neutraal vormvoorbeeld:

{
  "metadata": {
    "integration": "sapphire-docs"
  }
}

Het voorbeeld is alleen geldig wanneer de gekozen API het veld metadata ondersteunt. JSON moet een object met dubbele aanhalingstekens zijn, zonder commentaar of afsluitende komma's. Plaats hier geen secret, Authorization, base URL, model key, gebruikersidentificatoren of vertrouwelijke inhoud.

Dupliceer in Extra JSON geen hoofdvelden van de aanvraag, zoals model, hulpmiddelen, hulpmiddelkeuze, invoerberichten, temperature, Top P en max output tokens. Een conflict bemoeilijkt diagnose en kan het gedrag na een adapterupdate wijzigen. Het veld enable_tools is geen manier om hulpmiddelbeheer te omzeilen, en beheerst contextbeleid mag niet door een willekeurige instelling worden vervangen. Hulpmiddelen worden toegestaan door de servercatalogus, groepsrechten en sessiekeuze.

Het profiel controleren

1. Sla het profiel ingeschakeld op, maar wijs het niet als standaard toe.
2. Maak een nieuwe sessie en selecteer het profiel expliciet.
3. Controleer een kort antwoord, de systeeminstructie en het opgegeven formaat.
4. Voer een lange test uit en observeer de contextdrempel en compactie.
5. Controleer het stoppen op rondes en tijd als de limieten niet nul zijn.
6. Voeg sleutels één voor één aan Extra JSON toe en herhaal de test.
7. Wijs het profiel pas daarna als default toe.

Als de aanvraag wordt geweigerd, maakt u eerst Extra JSON leeg, schakelt u optionele sampling-parameters uit en herhaalt u de minimale test. Controleer daarna de limieten en ondersteuning van reasoning/response format. Deze volgorde onderscheidt een fout in de basisregistratie van een incompatibele extra optie.

De budgetomvang kiezen

Begin niet bij het maximum van het model, maar bij een gemeten werkscenario. Schat de lengte van de systeeminstructie, typische geschiedenis, verwachte hulpmiddelresultaten en antwoordreserve. Een te grote active context verhoogt kosten en verwerkingstijd; een te kleine veroorzaakt frequente compactie. De reserve moet een correcte samenvatting mogelijk maken voordat de harde grens wordt bereikt en mag daarom niet tot een symbolische waarde worden teruggebracht.

Scheid profielen voor verschillende taken als hun eisen aan lengte, reasoning of tijd uiteenlopen. Eén „universeel” profiel is moeilijker te controleren en veilig te wijzigen. Leg het doel van het profiel vast in de naam en beschrijving van de werkprocedure, maar codeer geen routering of rechten in de system prompt: profielkeuze en toestemming voor hulpmiddelen worden door andere lagen beheerd.