Intégration SDK
Juges & feedback
L'évaluation produit des verdicts (score) rattachés à vos traces, visibles dans l'onglet
Judges et le détail de trace.
Deux plans d'exécution
| Origine | Plan | Qui évalue |
|---|---|---|
| platform_managed | platform_saas | La plateforme exécute le juge côté serveur (vous configurez le binding dans Settings → Judges). |
| tenant_managed | client_runtime | Vous évaluez dans votre code et poussez le verdict via score() ou submit_feedback(). |
La plupart des juges sont gérés par la plateforme : rien à coder, vous les activez dans le cockpit. Cette section couvre le cas client-runtime : émettre vous-même un verdict.
Émettre un verdict — score
Un verdict combine un JudgeRef (qui juge) et des ScoreDetails (le résultat).
from niaone_sdk import scorefrom niaone_sdk.models import JudgeRef, ScoreDetailsfrom niaone_sdk.enums import (JudgeFamily, JudgeWhen, JudgeOrigin, JudgeExecutionPlane, ScoreValueType, AttachLevel)judge = JudgeRef(id="groundedness-v1", family=JudgeFamily.GROUNDING, when=JudgeWhen.FLOW_END, origin=JudgeOrigin.TENANT_MANAGED, execution_plane=JudgeExecutionPlane.CLIENT_RUNTIME)details = ScoreDetails(value=0.82, value_type=ScoreValueType.NUMBER, attach_level=AttachLevel.FLOW, target_id=f.flow_id, passed=True, confidence=0.9, threshold=0.7, reason="Réponse étayée par 3 sources sur 3.")score(f, name="groundedness", judge=judge, score_details=details)| Champ | Valeurs |
|---|---|
| family | safety · quality · grounding · compliance · policy · cost · latency · relevance · custom |
| when | live · step_end · flow_end · offline |
| value_type | number · boolean · string · enum |
| attach_level | run (span) · flow · session |
Feedback humain — submit_feedback
Pour un pouce / une note d'utilisateur, submit_feedback construit le ScoreRecord pour vous
(niveau RUN si attaché à un step, FLOW si attaché au flow).
from niaone_sdk import submit_feedbacksubmit_feedback(f, True, kind="thumbs", comment="Très utile", actor_id="user_42")submit_feedback(step_ctx, 4, kind="rating", judge_id="csat")Où ça apparaît
Les verdicts alimentent l'onglet Judges et la colonne verdict du détail de trace. Si un juge configuré ne déclenche jamais, voyez Troubleshooting.