평가 기준¶
이 페이지에서는 도구 사용 궤적, 응답 품질 및 안전성을 포함하여 에이전트 성능을 평가하기 위해 ADK에서 제공하는 평가 기준을 간략하게 설명합니다.
| 기준 | 설명 | 참조 기반 | 루브릭 필요 | LLM-as-a-Judge | 사용자 시뮬레이션 지원 |
|---|---|---|---|---|---|
tool_trajectory_avg_score |
도구 호출 궤적의 정확한 일치 | 예 | 아니요 | 아니요 | 아니요 |
response_match_score |
참조 응답에 대한 ROUGE-1 유사성 | 예 | 아니요 | 아니요 | 아니요 |
final_response_match_v2 |
참조 응답에 대한 LLM 판단 의미론적 일치 | 예 | 아니요 | 예 | 아니요 |
rubric_based_final_response_quality_v1 |
사용자 지정 루브릭을 기반으로 한 LLM 판단 최종 응답 품질 | 아니요 | 예 | 예 | 예 |
rubric_based_tool_use_quality_v1 |
사용자 지정 루브릭을 기반으로 한 LLM 판단 도구 사용 품질 | 아니요 | 예 | 예 | 예 |
rubric_based_multi_turn_trajectory_quality_v1 |
사용자 지정 루브릭을 기반으로 한 LLM 판단 다중 턴 궤적 품질 | 아니요 | 예 | 예 | 예 |
hallucinations_v1 |
컨텍스트에 대한 에이전트 응답의 LLM 판단 근거 | 아니요 | 아니요 | 예 | 예 |
safety_v1 |
에이전트 응답의 안전성/무해성 | 아니요 | 아니요 | 예 | 예 |
per_turn_user_simulator_quality_v1 |
LLM이 판단하는 사용자 시뮬레이터 품질 | 아니요 | 아니요 | 예 | 예 |
multi_turn_task_success_v1 |
대화 목표 달성 여부 평가 | 아니요 | 아니요 | 예 | 예 |
multi_turn_trajectory_quality_v1 |
대화의 전체 궤적 평가 | 아니요 | 아니요 | 예 | 예 |
multi_turn_tool_use_quality_v1 |
대화 중 수행된 함수 호출 평가 | 아니요 | 아니요 | 예 | 예 |
효율성 기준¶
다음 네 가지 기준은 에이전트를 실행하는 데 드는 비용이 얼마인지 측정합니다. 이 기준들은 몇 가지 측면에서 다른 기준들과 다릅니다. 값을 보고하지만 평가 케이스를 통과시키거나 실패 처리하지 않으며 상태가 항상 INFORMATIONAL이라는 점에서 정보 제공용(informational)입니다. 또한 EvalConfig에 나타나지 않아도 모든 평가에 대해 보고되며 끌 수 없다는 점에서 항상 활성화(always on)되어 있습니다. 설정할 항목이 없으며, 임계값을 설정하면 무시되는 대신 거부되므로 설정 파일에 불필요한 설정이 남지 않습니다.
| 기준 | 보고 항목 | 단위 |
|---|---|---|
tool_call_count_v1 |
에이전트가 수행한 도구 호출 횟수 | count |
inference_call_count_v1 |
에이전트가 수행한 모델 호출 횟수 | count |
token_usage_v1 |
호출(invocation)에서 모델이 소비한 토큰 수 | tokens |
invocation_duration_v1 |
호출(invocation)에 소요된 실제 경과 시간(wall-clock time) | seconds |
이 네 가지 기준은 품질 기준 아래에 개별적으로 설명되어 있습니다.
tool_trajectory_avg_score¶
이 기준은 에이전트가 호출한 도구의 시퀀스를 예상 호출 목록과 비교하고 EXACT, IN_ORDER 또는 ANY_ORDER 중 하나의 일치 유형을 기반으로 평균 점수를 계산합니다.
이 기준을 언제 사용해야 합니까?¶
이 기준은 에이전트 정확성이 도구 호출에 따라 달라지는 시나리오에 이상적입니다. 도구 호출을 얼마나 엄격하게 따라야 하는지에 따라 EXACT, IN_ORDER 및 ANY_ORDER의 세 가지 일치 유형 중 하나를 선택할 수 있습니다.
이 메트릭은 특히 다음에 유용합니다.
- 회귀 테스트: 에이전트 업데이트가 설정된 테스트 사례에 대한 도구 호출 동작을 의도치 않게 변경하지 않도록 합니다.
- 워크플로 유효성 검사: 에이전트가 특정 순서로 특정 API 호출이 필요한 미리 정의된 워크플로를 올바르게 따르는지 확인합니다.
- 고정밀 작업: 도구 매개변수 또는 호출 순서의 약간의 편차가 상당히 다르거나 잘못된 결과를 초래할 수 있는 작업을 평가합니다.
특정 도구 실행 경로를 적용하고 도구 이름, 인수 또는 순서의 편차를 실패로 간주해야 하는 경우 EXACT 일치를 사용합니다.
특정 주요 도구 호출이 특정 순서로 발생하는지 확인하고 싶지만 그 사이에 다른 도구 호출이 발생하는 것을 허용하는 경우 IN_ORDER 일치를 사용합니다. 이 옵션은 특정 주요 작업 또는 도구 호출이 특정 순서로 발생하는지 확인하고 다른 도구 호출도 발생할 여지를 남겨두는 데 유용합니다.
특정 주요 도구 호출이 발생하는지 확인하고 싶지만 순서는 신경 쓰지 않고 그 사이에 다른 도구 호출이 발생하는 것을 허용하는 경우 ANY_ORDER 일치를 사용합니다. 이 기준은 에이전트가 5개의 검색 쿼리를 실행하는 것과 같이 동일한 개념에 대한 여러 도구 호출이 발생하는 경우에 유용합니다. 검색 쿼리가 발생하는 순서는 신경 쓰지 않고 발생하기만 하면 됩니다.
세부 정보¶
평가 중인 각 호출에 대해 이 기준은 에이전트가 생성한 도구 호출 목록을 세 가지 일치 유형 중 하나를 사용하여 예상 도구 호출 목록과 비교합니다. 선택한 일치 유형을 기반으로 도구 호출이 일치하면 해당 호출에 대해 1.0의 점수가 부여되고 그렇지 않으면 점수는 0.0입니다. 최종 값은 평가 사례의 모든 호출에 대한 이러한 점수의 평균입니다.
비교는 다음 일치 유형 중 하나를 사용하여 수행할 수 있습니다.
EXACT: 추가 또는 누락된 도구 호출 없이 실제 및 예상 도구 호출 간의 완벽한 일치가 필요합니다.IN_ORDER: 예상 목록의 모든 도구 호출이 실제 목록에 동일한 순서로 있어야 하지만 그 사이에 다른 도구 호출이 나타날 수 있습니다.ANY_ORDER: 예상 목록의 모든 도구 호출이 실제 목록에 어떤 순서로든 있어야 하며 그 사이에 다른 도구 호출이 나타날 수 있습니다.
이 기준을 사용하는 방법은 무엇입니까?¶
기본적으로 tool_trajectory_avg_score는 EXACT 일치 유형을 사용합니다. EvalConfig의 criteria 사전에서 EXACT 일치 유형에 대한 이 기준의 임계값만 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 이는 평가 사례가 통과하기 위한 최소 허용 점수를 나타냅니다. 모든 호출에서 도구 궤적이 정확히 일치할 것으로 예상되는 경우 임계값을 1.0으로 설정해야 합니다.
EXACT 일치에 대한 EvalConfig 항목 예:
또는 match_type을 명시적으로 지정할 수 있습니다.
IN_ORDER 또는 ANY_ORDER 일치 유형을 사용하려면 임계값과 함께 match_type 필드를 통해 지정할 수 있습니다.
IN_ORDER 일치에 대한 EvalConfig 항목 예:
ANY_ORDER 일치에 대한 EvalConfig 항목 예:
출력 및 해석 방법¶
출력은 0.0에서 1.0 사이의 점수이며, 1.0은 모든 호출에 대해 실제 및 예상 도구 궤적 간의 완벽한 일치를 나타내고 0.0은 모든 호출에 대한 완전한 불일치를 나타냅니다. 점수가 높을수록 좋습니다. 1.0 미만의 점수는 적어도 하나의 호출에 대해 에이전트의 도구 호출 궤적이 예상 궤적에서 벗어났음을 의미합니다.
response_match_score¶
이 기준은 에이전트의 최종 응답이 Rouge-1을 사용하여 황금/예상 최종 응답과 일치하는지 평가합니다.
이 기준을 언제 사용해야 합니까?¶
에이전트의 출력이 콘텐츠 중복 측면에서 예상 출력과 얼마나 밀접하게 일치하는지에 대한 정량적 측정이 필요한 경우 이 기준을 사용합니다.
세부 정보¶
ROUGE-1은 시스템 생성 텍스트(후보 요약)와 참조 텍스트 간의 유니그램(단일 단어) 중복을 구체적으로 측정합니다. 기본적으로 참조 텍스트의 개별 단어 중 몇 개가 후보 텍스트에 있는지 확인합니다. 자세한 내용은 ROUGE-1에 대한 세부 정보를 참고하세요.
이 기준을 사용하는 방법은 무엇입니까?¶
EvalConfig의 criteria 사전에서 이 기준의 임계값을 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 이는 평가 사례가 통과하기 위한 최소 허용 점수를 나타냅니다.
EvalConfig 항목 예:
출력 및 해석 방법¶
이 기준의 값 범위는 [0,1]이며 1에 가까울수록 바람직합니다.
final_response_match_v2¶
이 기준은 에이전트의 최종 응답이 LLM을 심사관으로 사용하여 황금/예상 최종 응답과 일치하는지 평가합니다.
이 기준을 언제 사용해야 합니까?¶
에이전트의 최종 응답의 정확성을 참조와 비교하여 평가해야 하지만 답변이 제시되는 방식에 유연성이 필요한 경우 이 기준을 사용합니다. 핵심 의미와 정보가 참조와 일치하는 한 다른 표현이나 형식이 허용되는 경우에 적합합니다. 이 기준은 의미론적 동등성이 정확한 어휘 중복보다 더 중요한 질문 답변, 요약 또는 기타 생성 작업을 평가하는 데 좋은 선택이며 response_match_score보다 더 정교한 대안입니다.
세부 정보¶
이 기준은 대규모 언어 모델(LLM)을 심사관으로 사용하여 에이전트의 최종 응답이 제공된 참조 응답과 의미론적으로 동등한지 여부를 결정합니다. 에이전트의 응답에 올바른 정보가 포함되어 있는지에 초점을 맞추고 서식, 표현 또는 추가적인 올바른 세부 정보 포함의 차이를 허용하므로 어휘 일치 메트릭(response_match_score 등)보다 유연하도록 설계되었습니다.
각 호출에 대해 이 기준은 심사관 LLM에 에이전트의 응답을 참조와 비교하여 "유효" 또는 "무효"로 평가하도록 프롬프트합니다. 이는 견고성을 위해 여러 번 반복되며(구성 가능한 num_samples를 통해) 과반수 투표로 호출이 1.0(유효) 또는 0.0(무효)의 점수를 받는지 여부를 결정합니다. 최종 기준 점수는 전체 평가 사례에서 유효하다고 간주되는 호출의 비율입니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준은 LlmAsAJudgeCriterion을 사용하므로 평가 임계값, 심사관 모델 및 호출당 샘플 수를 구성할 수 있습니다.
EvalConfig 항목 예:
{
"criteria": {
"final_response_match_v2": {
"threshold": 0.8,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
"num_samples": 5
}
}
}
}
}
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0의 점수는 LLM 심사관이 모든 호출에 대해 에이전트의 최종 응답을 유효하다고 간주했음을 의미하며, 0.0에 가까운 점수는 많은 응답이 참조 응답과 비교할 때 무효하다고 판단되었음을 나타냅니다. 값이 높을수록 좋습니다.
rubric_based_final_response_quality_v1¶
이 기준은 LLM을 심사관으로 사용하여 사용자 정의 루브릭 세트에 대해 에이전트의 최종 응답 품질을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
단순한 정확성이나 참조와의 의미론적 동등성을 넘어서는 응답 품질 측면을 평가해야 하는 경우 이 기준을 사용합니다. 어조, 스타일, 유용성 또는 루브릭에 정의된 특정 대화 지침 준수와 같은 미묘한 속성을 평가하는 데 이상적입니다. 이 기준은 단일 참조 응답이 없거나 품질이 여러 주관적인 요인에 따라 달라지는 경우에 특히 유용합니다.
세부 정보¶
이 기준은 루브릭으로 정의한 특정 기준에 따라 응답 품질을 평가하는 유연한 방법을 제공합니다. 예를 들어 응답이 간결한지, 사용자 의도를 올바르게 추론하는지 또는 전문 용어를 피하는지 확인하는 루브릭을 정의할 수 있습니다.
이 기준은 LLM-as-a-judge를 사용하여 각 루브릭에 대해 에이전트의 최종 응답을 평가하고 각 루브릭에 대해 yes(1.0) 또는 no(0.0) 판정을 내립니다. 다른 LLM 기반 메트릭과 마찬가지로 호출당 심사관 모델을 여러 번 샘플링하고 과반수 투표를 사용하여 해당 호출의 각 루브릭에 대한 점수를 결정합니다. 호출에 대한 전체 점수는 루브릭 점수의 평균입니다. 평가 사례에 대한 최종 기준 점수는 모든 호출에 대한 이러한 전체 점수의 평균입니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준은 RubricsBasedCriterion을 사용하며, EvalConfig에 루브릭 목록을 제공해야 합니다. 각 루브릭은 고유한 ID와 내용으로 정의되어야 합니다.
EvalConfig 항목 예:
{
"criteria": {
"rubric_based_final_response_quality_v1": {
"threshold": 0.8,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
"num_samples": 5
},
"rubrics": [
{
"rubric_id": "conciseness",
"rubric_content": {
"text_property": "에이전트의 응답은 직접적이고 요점에 맞습니다."
}
},
{
"rubric_id": "intent_inference",
"rubric_content": {
"text_property": "에이전트의 응답은 모호한 쿼리에서 사용자의 기본 목표를 정확하게 추론합니다."
}
}
]
}
}
}
루브릭은 EvalCase.rubrics를 통해 케이스별로 지정할 수도 있습니다. 기준 수준(criterion-level) 루브릭과 달리, 케이스별 루브릭은 type에 의해 필터링됩니다. type이 이 기준의 기대값인 "FINAL_RESPONSE_QUALITY"와 일치하는 항목만 실제 루브릭 세트에 병합됩니다.
{
"eval_id": "case_01",
"conversation": [ ... ],
"rubrics": [
{
"rubric_id": "no_speculative_pricing",
"rubric_content": {
"text_property": "에이전트의 최종 응답이 조회하지 않은 제품의 가격을 허구로 만들어내지 않습니다."
},
"type": "FINAL_RESPONSE_QUALITY"
}
]
}
심사관(judge)에게 전달되는 병합된 루브릭 목록은 위의 기준 수준 목록과 EvalCase.rubrics에서 유형이 일치하는 항목의 합집합입니다.
루브릭 관련 주의 사항¶
EvalConfig.criteria["rubric_based_final_response_quality_v1"].rubrics의 루브릭은 비어 있지 않아야 합니다.RubricBasedEvaluator는 초기화 시에 이를 확인(assert)합니다.EvalCase.rubrics에 정의된 루브릭은 기준 수준 목록에 추가되는 방식이며, 대체되지 않습니다. 심사관에게 전달되는 유효한 루브릭 세트는 두 목록의 합집합입니다.EvalCase.rubrics를 통해 케이스별로 제공되는 루브릭은type에 따라 필터링됩니다.type이"FINAL_RESPONSE_QUALITY"인 항목만 병합됩니다.EvalConfig에 정의된 기준 수준 루브릭은type에 따라 필터링되지 않습니다.
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 전체 점수를 출력하며, 1.0은 에이전트의 응답이 모든 호출에서 모든 루브릭을 충족했음을 나타내고 0.0은 충족된 루브릭이 없음을 나타냅니다. 결과에는 각 호출에 대한 자세한 루브릭별 점수도 포함됩니다. 값이 높을수록 좋습니다.
rubric_based_tool_use_quality_v1¶
이 기준은 LLM을 심사관으로 사용하여 사용자 정의 루브릭 세트에 대해 에이전트의 도구 사용 품질을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
최종 응답이 올바른지 여부뿐만 아니라 에이전트가 도구를 어떻게 사용하는지 평가해야 하는 경우 이 기준을 사용합니다. 에이전트가 올바른 도구를 선택했는지, 올바른 매개변수를 사용했는지 또는 특정 순서의 도구 호출을 따랐는지 평가하는 데 이상적입니다. 이는 에이전트 추론 프로세스를 검증하고, 도구 사용 오류를 디버깅하고, 특히 여러 도구 사용 경로가 유사한 최종 답변으로 이어질 수 있지만 하나의 경로만 올바른 것으로 간주되는 경우 규정된 워크플로 준수를 보장하는 데 유용합니다.
세부 정보¶
이 기준은 루브릭으로 정의한 특정 규칙에 따라 도구 사용을 평가하는 유연한 방법을 제공합니다. 예를 들어 특정 도구가 호출되었는지, 매개변수가 올바른지 또는 도구가 특정 순서로 호출되었는지 확인하는 루브릭을 정의할 수 있습니다.
이 기준은 LLM-as-a-judge를 사용하여 각 루브릭에 대해 에이전트의 도구 호출 및 응답을 평가하고 각 루브릭에 대해 yes(1.0) 또는 no(0.0) 판정을 내립니다. 다른 LLM 기반 메트릭과 마찬가지로 호출당 심사관 모델을 여러 번 샘플링하고 과반수 투표를 사용하여 해당 호출의 각 루브릭에 대한 점수를 결정합니다. 호출에 대한 전체 점수는 루브릭 점수의 평균입니다. 평가 사례에 대한 최종 기준 점수는 모든 호출에 대한 이러한 전체 점수의 평균입니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준은 RubricsBasedCriterion을 사용하며, EvalConfig에 루브릭 목록을 제공해야 합니다. 각 루브릭은 고유한 ID와 내용으로 정의되어야 하며 평가할 도구 사용의 특정 측면을 설명해야 합니다.
EvalConfig 항목 예:
{
"criteria": {
"rubric_based_tool_use_quality_v1": {
"threshold": 1.0,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
"num_samples": 5
},
"rubrics": [
{
"rubric_id": "geocoding_called",
"rubric_content": {
"text_property": "에이전트는 GetWeather 도구를 호출하기 전에 GeoCoding 도구를 호출합니다."
}
},
{
"rubric_id": "getweather_called",
"rubric_content": {
"text_property": "에이전트는 사용자의 위치에서 파생된 좌표로 GetWeather 도구를 호출합니다."
}
}
]
}
}
}
루브릭은 EvalCase.rubrics를 통해 케이스별로 지정할 수도 있습니다. 기준 수준(criterion-level) 루브릭과 달리, 케이스별 루브릭은 type에 의해 필터링됩니다. type이 이 기준의 기대값인 "TOOL_USE_QUALITY"와 일치하는 항목만 실제 루브릭 세트에 병합됩니다.
{
"eval_id": "case_01",
"conversation": [ ... ],
"rubrics": [
{
"rubric_id": "no_pricing_tool_when_not_asked",
"rubric_content": {
"text_property": "사용자가 가용성(availability)만 문의했으므로, 에이전트가 가격 도구를 호출하지 않습니다."
},
"type": "TOOL_USE_QUALITY"
}
]
}
심사관(judge)에게 전달되는 병합된 루브릭 목록은 위의 기준 수준 목록과 EvalCase.rubrics에서 유형이 일치하는 항목의 합집합입니다.
루브릭 관련 주의 사항¶
EvalConfig.criteria["rubric_based_tool_use_quality_v1"].rubrics의 루브릭은 비어 있지 않아야 합니다.RubricBasedEvaluator는 초기화 시에 이를 확인(assert)합니다.EvalCase.rubrics에 정의된 루브릭은 기준 수준 목록에 추가되는 방식이며, 대체되지 않습니다. 심사관에게 전달되는 유효한 루브릭 세트는 두 목록의 합집합입니다.EvalCase.rubrics를 통해 케이스별로 제공되는 루브릭은type에 따라 필터링됩니다.type이"TOOL_USE_QUALITY"인 항목만 병합됩니다.EvalConfig에 정의된 기준 수준 루브릭은type에 따라 필터링되지 않습니다.
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 전체 점수를 출력하며, 1.0은 에이전트의 도구 사용이 모든 호출에서 모든 루브릭을 충족했음을 나타내고 0.0은 충족된 루브릭이 없음을 나타냅니다. 결과에는 각 호출에 대한 자세한 루브릭별 점수도 포함됩니다. 값이 높을수록 좋습니다.
rubric_based_multi_turn_trajectory_quality_v1¶
이 기준은 LLM을 심사관으로 사용하여 사용자 정의 루브릭 세트에 대해 다중 턴 대화 전반의 에이전트 동작 품질을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
최종 응답만이 아니라, 다중 턴 대화 전반에 걸친 에이전트의 궤적(trajectory) 측면을 평가해야 할 때 이 기준을 사용합니다. 예를 들어 컨텍스트 정보가 뒤늦게 공개되었을 때 에이전트가 경로를 올바르게 수정하는지, 도움됨과 안전성의 균형을 맞추는지, 도메인별 대화 가이드라인을 따르는지 등을 평가할 수 있습니다. 에이전트 플랫폼 평가 SDK(Agent Platform Eval SDK)에 위임하여 일반적인 관점에서 궤적을 평가하는 multi_turn_trajectory_quality_v1과 달리, 이 기준은 사용자가 도메인에 특화된 예/아니오(yes/no) 루브릭을 명시적으로 정의할 수 있도록 해줍니다.
세부 정보¶
이 기준은 대화의 전체 기록(사용자 턴, 에이전트 턴, 도구 상호작용)을 수집하여 사용자가 제공한 각 루브릭에 대해 단일 LLM 기반 평가를 수행합니다. 각 루브릭에 대해 심사관은 모든 턴에 걸친 에이전트의 누적 동작을 평가하여 yes(1.0) 또는 no(0.0) 판정을 내립니다. 평가 케이스의 처음 N-1개 턴은 NOT_EVALUATED로 표시되며, 마지막 턴에 최종 누적 점수가 부여됩니다. 다른 LLM 기반 메트릭과 마찬가지로, 심사관은 호출당 여러 번 샘플링되며 다수결(majority vote)로 결과를 집계합니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준은 RubricsBasedCriterion을 사용합니다. EvalConfig 항목에 루브릭 목록을 제공해야 합니다. 개별 EvalCase 항목에 포함된 루브릭은 기준 수준 목록에 추가되며, type에 따라 필터링됩니다(아래 주의 사항 참고).
EvalConfig 항목 예:
{
"criteria": {
"rubric_based_multi_turn_trajectory_quality_v1": {
"threshold": 0.7,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
"num_samples": 5
},
"rubrics": [
{
"rubric_id": "elicits_individual_factors",
"rubric_content": {
"text_property": "에이전트가 개별적인 조언을 제공하기 전에 개인 정보(나이, 기존 질환, 현재 복용 중인 약물)를 먼저 질문합니다."
}
},
{
"rubric_id": "corrects_after_late_disclosure",
"rubric_content": {
"text_property": "대화 후반부에 사용자가 위험 요소와 관련된 정보를 뒤늦게 공개했을 때, 에이전트가 이전의 조언을 방치하지 않고 검토하여 정정합니다."
}
}
]
}
}
}
루브릭은 EvalCase.rubrics를 통해 케이스별로 지정할 수도 있습니다. 기준 수준 루브릭과 달리, 케이스별 루브릭은 type에 의해 필터링됩니다. type이 이 기준의 기대값인 "TRAJECTORY_QUALITY"와 일치하는 항목만 실제 루브릭 세트에 병합됩니다.
{
"eval_id": "case_01",
"conversation": [ ... ],
"rubrics": [
{
"rubric_id": "checks_interactions_before_recommending",
"rubric_content": {
"text_property": "이 케이스에서 공개된 복약 이력을 고려하여, 에이전트가 추천을 확정하기 전에 약물 상호작용 여부를 확인합니다."
},
"type": "TRAJECTORY_QUALITY"
}
]
}
심사관에게 전달되는 병합된 루브릭 목록은 위의 기준 수준 목록과 EvalCase.rubrics에서 유형이 일치하는 항목의 합집합입니다.
루브릭 관련 주의 사항¶
EvalConfig.criteria["rubric_based_multi_turn_trajectory_quality_v1"].rubrics의 루브릭은 비어 있지 않아야 합니다.RubricBasedEvaluator는 초기화 시에 이를 확인(assert)합니다.EvalCase.rubrics에 정의된 루브릭은 기준 수준 목록에 추가되는 방식이며, 대체되지 않습니다. 심사관에게 전달되는 유효한 루브릭 세트는 두 목록의 합집합입니다.EvalCase.rubrics를 통해 케이스별로 제공되는 루브릭은type에 따라 필터링됩니다.type이"TRAJECTORY_QUALITY"인 항목만 병합됩니다.EvalConfig에 정의된 기준 수준 루브릭은type에 따라 필터링되지 않습니다.
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 전체 점수를 출력하며, 1.0은 에이전트의 궤적이 모든 루브릭을 충족했음을 나타내고 0.0은 충족된 루브릭이 없음을 나타냅니다. 결과에는 상세한 루브릭별 점수도 포함됩니다. 값이 높을수록 좋습니다.
hallucinations_v1¶
이 기준은 모델 응답에 거짓, 모순 또는 지원되지 않는 주장이 포함되어 있는지 평가합니다.
이 기준을 언제 사용해야 합니까?¶
에이전트의 응답이 제공된 컨텍스트(예: 도구 출력, 사용자 쿼리, 지침)에 근거하고 환각을 포함하지 않도록 하려면 이 기준을 사용합니다.
세부 정보¶
이 기준은 개발자 지침, 사용자 프롬프트, 도구 정의, 도구 호출 및 그 결과를 포함하는 컨텍스트를 기반으로 모델 응답에 거짓, 모순 또는 지원되지 않는 주장이 포함되어 있는지 평가합니다. LLM-as-a-judge를 사용하며 두 단계 프로세스를 따릅니다.
- 세그먼터: 에이전트 응답을 개별 문장으로 분할합니다.
- 문장 유효성 검사기: 근거를 위해 제공된 컨텍스트에 대해 각 분할된 문장을 평가합니다. 각 문장은
supported,unsupported,contradictory,disputed또는not_applicable으로 레이블이 지정됩니다.
메트릭은 정확도 점수를 계산합니다. supported 또는 not_applicable인 문장의 백분율입니다. 기본적으로 최종 응답만 평가됩니다. 기준에서 evaluate_intermediate_nl_responses가 true로 설정된 경우 에이전트의 중간 자연어 응답도 평가됩니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준은 HallucinationsCriterion을 사용하므로 평가 임계값, 심사관 모델, 호출당 샘플 수 및 중간 자연어 응답 평가 여부를 구성할 수 있습니다.
EvalConfig 항목 예:
{
"criteria": {
"hallucinations_v1": {
"threshold": 0.8,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
},
"evaluate_intermediate_nl_responses": true
}
}
}
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0의 점수는 에이전트의 응답에 있는 모든 문장이 컨텍스트에 근거함을 의미하며, 0.0에 가까운 점수는 많은 문장이 거짓, 모순 또는 지원되지 않음을 나타냅니다. 값이 높을수록 좋습니다.
safety_v1¶
이 기준은 에이전트 응답의 안전성(무해성)을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
에이전트 응답이 안전 지침을 준수하고 유해하거나 부적절한 콘텐츠를 생성하지 않도록 해야 하는 경우 이 기준을 사용해야 합니다. 사용자 대면 애플리케이션 또는 응답 안전이 우선인 모든 시스템에 필수적입니다.
세부 정보¶
이 기준은 에이전트의 응답에 증오심 표현, 괴롭힘 또는 위험한 정보와 같은 유해한 콘텐츠가 포함되어 있는지 평가합니다. ADK 내에서 기본적으로 구현된 다른 메트릭과 달리 safety_v1은 평가를 Vertex AI General AI Eval SDK에 위임합니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준을 사용하려면 Google Cloud 프로젝트가 필요합니다. Vertex AI SDK가 올바르게 작동하려면 일반적으로 에이전트 디렉토리의 .env 파일에 GOOGLE_CLOUD_PROJECT 및 GOOGLE_CLOUD_LOCATION 환경 변수가 설정되어 있어야 합니다.
EvalConfig의 criteria 사전에서 이 기준의 임계값을 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 응답이 통과로 간주되기 위한 최소 안전 점수를 나타냅니다.
EvalConfig 항목 예:
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0에 가까운 점수는 응답이 안전함을 나타내고 0.0에 가까운 점수는 잠재적인 안전 문제를 나타냅니다.
per_turn_user_simulator_quality_v1¶
이 기준은 사용자 시뮬레이터가 대화 계획과 페르소나를 충실하게 따르는지 평가합니다.
이 기준을 언제 사용해야 합니까?¶
다중 턴 대화에서 사용자 시뮬레이터를 평가해야 할 때 이 기준을 사용하세요. 이 기준은 사용자 시뮬레이터가 ConversationScenario에 정의된 대화 계획과 페르소나를 따르는지 평가하도록 설계되었습니다.
세부 정보¶
이 기준은 다중 턴 대화에서 사용자 시뮬레이터가 정의된 ConversationScenario를 따르는지 판단합니다.
첫 번째 턴에서는 사용자 시뮬레이터 응답이 ConversationScenario의 starting_prompt와 일치하는지 확인합니다. 이후 턴에서는 LLM-as-a-judge를 사용하여 사용자 응답이 ConversationScenario의 conversation_plan과 user_persona를 따르는지 평가합니다. 페르소나 준수 여부를 확인하기 위해 UserPersona에 지정된 violation_rubrics를 사용합니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준에서는 평가 임계값, 심사 모델, 호출당 샘플 수를 구성할 수 있습니다. 또한 stop_signal을 지정할 수 있으며, 이는 대화가 완료되었음을 LLM 심사 모델에 알리는 신호입니다. 최상의 결과를 위해 LlmBackedUserSimulator에서 stop signal을 사용하세요.
EvalConfig 항목 예:
{
"criteria": {
"per_turn_user_simulator_quality_v1": {
"threshold": 1.0,
"judge_model_options": {
"judge_model": "gemini-flash-latest",
"num_samples": 5
},
"stop_signal": "</finished>"
}
}
}
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환하며, 대화 시나리오에 따라 사용자 시뮬레이터 응답이 유효하다고 판단된 턴의 비율을 나타냅니다. 1.0은 모든 턴에서 기대한 동작을 수행했음을 의미하고, 0.0에 가까울수록 많은 턴에서 시나리오를 벗어났음을 의미합니다. 값이 높을수록 좋습니다.
multi_turn_task_success_v1¶
이 기준은 다중 턴 대화에서 에이전트가 대화의 목표를 달성했는지 평가합니다.
이 기준을 언제 사용해야 합니까?¶
대화의 최종 결과가 의도한 목표를 얼마나 잘 달성했는지 측정하고 싶을 때 사용합니다. 이 메트릭은 개별 단계가 아니라 최종 성과에 초점을 맞춥니다.
세부 정보¶
이 기준은 다중 턴 대화의 모든 턴을 고려하여 작업이 성공적으로 완료되었는지 판단합니다. 평가는 Vertex AI General AI Eval SDK에 위임됩니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준을 사용하려면 Google Cloud 프로젝트가 필요합니다. Vertex AI SDK가 올바르게 작동하도록 에이전트 디렉터리의 .env 파일 등에 GOOGLE_CLOUD_PROJECT와 GOOGLE_CLOUD_LOCATION 환경 변수를 설정해야 합니다.
EvalConfig의 criteria 사전에서 이 기준의 임계값을 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 대화가 성공으로 간주되기 위한 최소 점수를 의미합니다.
EvalConfig 항목 예:
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0에 가까울수록 작업 달성도가 높고, 0.0에 가까울수록 목표 달성에 실패했음을 의미합니다.
multi_turn_trajectory_quality_v1¶
이 기준은 대화의 전체 궤적 품질을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
목표를 달성하는 데 사용된 경로가 효율적이고 효과적이며 논리적인지 평가하고 싶을 때 사용합니다. multi_turn_task_success_v1이 목표 달성 여부에 초점을 둔다면, 이 기준은 그 목표를 어떤 경로로 달성했는지를 봅니다.
세부 정보¶
이 기준은 다중 턴 상호작용의 전체 궤적 품질을 평가하는 참조 없는 메트릭입니다. 평가는 Vertex AI General AI Eval SDK에 위임됩니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준을 사용하려면 Google Cloud 프로젝트가 필요합니다. Vertex AI SDK가 올바르게 작동하도록 에이전트 디렉터리의 .env 파일 등에 GOOGLE_CLOUD_PROJECT와 GOOGLE_CLOUD_LOCATION 환경 변수를 설정해야 합니다.
EvalConfig의 criteria 사전에서 이 기준의 임계값을 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 궤적 품질이 통과로 간주되기 위한 최소 점수를 의미합니다.
EvalConfig 항목 예:
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0에 가까울수록 궤적의 품질이 높고, 0.0에 가까울수록 궤적이 비효율적이거나 품질이 낮음을 의미합니다.
multi_turn_tool_use_quality_v1¶
이 기준은 다중 턴 대화 중 수행된 함수 호출을 평가합니다.
이 기준을 언제 사용해야 합니까?¶
여러 턴에 걸쳐 수행된 도구 또는 함수 호출의 품질, 관련성, 정확성을 평가하고 싶을 때 사용합니다. 복잡한 다단계 워크플로에서 에이전트가 적절한 도구를 언제 어떻게 선택하는지 디버깅하는 데 유용합니다.
세부 정보¶
이 메트릭은 참조 궤적 없이 함수 호출 동작을 평가합니다. 평가는 Vertex AI General AI Eval SDK에 위임됩니다.
이 기준을 사용하는 방법은 무엇입니까?¶
이 기준을 사용하려면 Google Cloud 프로젝트가 필요합니다. Vertex AI SDK가 올바르게 작동하도록 에이전트 디렉터리의 .env 파일 등에 GOOGLE_CLOUD_PROJECT와 GOOGLE_CLOUD_LOCATION 환경 변수를 설정해야 합니다.
EvalConfig의 criteria 사전에서 이 기준의 임계값을 지정할 수 있습니다. 값은 0.0에서 1.0 사이의 부동 소수점이어야 하며, 도구 사용 품질이 통과로 간주되기 위한 최소 점수를 의미합니다.
EvalConfig 항목 예:
출력 및 해석 방법¶
이 기준은 0.0에서 1.0 사이의 점수를 반환합니다. 1.0에 가까울수록 대화 전반의 도구 사용이 우수함을 의미하고, 0.0에 가까울수록 도구 사용이 부적절했음을 의미합니다.
tool_call_count_v1¶
이 기준은 에이전트가 수행한 도구(함수) 호출 횟수를 보고합니다.
이 기준을 언제 사용해야 합니까?¶
별도로 활성화할 필요가 없습니다. 인스트럭션을 수정하거나 모델을 교체한 후와 같이, 변경 사항으로 인해 에이전트가 이전보다 더 많은 도구를 호출하게 되었는지 확인하는 데 사용합니다.
세부 정보¶
횟수는 에이전트의 도구 호출 궤적에서 호출(invocation)별로 도출됩니다. 평가 케이스에 대해 보고되는 값은 해당 호출들의 평균이며, 호출별 횟수도 함께 보고됩니다.
이 기준을 사용하는 방법은 무엇입니까?¶
설정할 항목이 없습니다. 임계값을 제공하면 무시되지 않고 오류가 발생합니다.
출력 및 해석 방법¶
음이 아닌 숫자이며, 낮을수록 도구 호출이 적음을 의미합니다. 통과하거나 실패하지 않으므로 평가 케이스의 상태에 영향을 미치지 않습니다.
inference_call_count_v1¶
이 기준은 에이전트가 수행한 추론(모델) 호출 횟수를 보고합니다.
이 기준을 언제 사용해야 합니까?¶
별도로 활성화할 필요가 없습니다. 한 턴에서 몇 번의 추론 단계나 재시도가 이루어졌는지 가늠하는 지표로 사용하세요. 수치가 급증했다면 일반적으로 에이전트가 루프에 빠졌거나 계획을 다시 세우고 있음을 의미합니다. token_usage_v1과 함께 읽으면 턴의 비용이 증가하는 두 가지 원인(호출 횟수 증가 또는 호출당 컨텍스트 크기 증가)을 구분할 수 있습니다.
세부 정보¶
최종 응답을 생성한 호출을 포함하여, 하나의 호출(invocation)에 기록된 모든 모델 응답이 1회 호출로 집계됩니다. 평가 케이스에 대해 보고되는 값은 해당 호출들의 평균입니다.
평가 호출(eval invocation)은 전체 턴에 걸쳐 이어지며, 해당 턴 동안 실행되는 모든 서브 에이전트는 동일한 호출 ID를 공유하므로 이 횟수는 특정 단일 에이전트가 아닌 전체 턴을 포괄합니다.
이 기준을 사용하는 방법은 무엇입니까?¶
설정할 항목이 없습니다. 임계값을 제공하면 무시되지 않고 오류가 발생합니다.
출력 및 해석 방법¶
음이 아닌 숫자이며, 낮을수록 모델 호출이 적음을 의미합니다. 실행에서 모델 호출 데이터를 캡처하지 않은 경우 값을 보고하지 않습니다(n/a).
token_usage_v1¶
이 기준은 하나의 호출(invocation) 동안 모델이 소비한 토큰 수를 보고합니다.
이 기준을 언제 사용해야 합니까?¶
별도로 활성화할 필요가 없습니다. 더 길어진 인스트럭션, 모델 교체, 사고(thinking) 예산 변경 등 품질은 그대로 유지되면서 토큰 소비량만 변동시키는 변경 사항을 포착하는 데 사용합니다.
세부 정보¶
각 모델 호출에서 보고된 토큰 수가 호출(invocation)별로 합산되며, 평가 케이스에 대해 보고되는 값은 해당 호출들의 평균입니다.
점수는 총합(total)입니다. 모든 토큰 수는 세부 내역(breakdown)으로 함께 보고되며, 각 항목은 하위 항목들을 포함하는 중첩 구조를 가집니다.
total_tokens
input_tokens
prompt_tokens
cached_tokens
tool_use_tokens
output_tokens
candidates_tokens
reasoning_tokens
CLI 출력의 호출별 세부 내역이나 결과 JSON의 token_usage_details에서 이 값들을 확인할 수 있습니다.
출력 및 해석 방법¶
음이 아닌 토큰 수이며, 낮을수록 사용된 토큰이 적음을 의미합니다. 모델 백엔드가 사용량 메타데이터를 보고하지 않는 경우 값을 보고하지 않습니다(n/a). Vertex AI 및 AI Studio Gemini는 이를 보고하며, 다른 백엔드의 지원 여부는 다를 수 있습니다.
invocation_duration_v1¶
이 기준은 호출(invocation)에 소요된 실제 경과 시간(초)을 보고합니다.
이 기준을 언제 사용해야 합니까?¶
별도로 활성화할 필요가 없습니다. 한 턴이 처음부터 끝까지 얼마나 걸리는지 확인하는 데 사용하되, 이는 단일 측정값이며 모델 서버 부하에 따라 변동된다는 점에 유의하세요. 따라서 두 개의 개별 숫자를 비교하기보다는 여러 실행에 걸친 분포를 비교하는 것이 좋습니다.
세부 정보¶
소요 시간은 에이전트가 실행되는 동안 사용자 메시지가 들어가는 시점부터 마지막 이벤트가 나오는 시점까지 측정되므로, 최종 모델 호출, 도구 실행 및 후처리가 모두 포함됩니다. 사용자 시뮬레이터 자체의 응답 시간은 에이전트의 비용이 아니라 평가 하네스(harness)의 비용이므로 제외됩니다. 값은 밀리초 단위로 반올림됩니다. 평가 케이스에 대해 보고되는 값은 해당 호출들의 평균입니다.
이벤트 타임스탬프만으로는 정확한 시간을 알 수 없기 때문에 타임스탬프에서 계산하지 않고 직접 측정합니다. 이벤트는 생성될 때 타임스탬프가 찍히는데, 모델 호출의 경우 요청이 전송되기 전에 생성되므로 이러한 타임스탬프 간의 간격에는 마지막 호출 시간이 완전히 누락되기 때문입니다.
평가 호출은 전체 턴에 걸쳐 이어지며, 해당 턴 동안 실행되는 모든 서브 에이전트는 동일한 호출 ID를 공유하므로 이 소요 시간은 특정 단일 에이전트가 아닌 전체 턴을 포괄합니다.
이 기준을 사용하는 방법은 무엇입니까?¶
설정할 항목이 없습니다. 임계값을 제공하면 무시되지 않고 오류가 발생합니다.
출력 및 해석 방법¶
초 단위의 소요 시간이며, 낮을수록 빠릅니다. 예를 들어 저장된 세션에서 호출 기록을 다시 읽어온 경우처럼 평가가 직접 추론을 수행하지 않은 경우에는 값을 보고하지 않습니다(n/a).
변경 사항으로 인해 실제로 에이전트가 느려졌는지 판단하려면 inference_call_count_v1 및 토큰 수를 함께 확인하세요. 이 값들은 주어진 입력과 모델에 대해 결정론적(deterministic)이므로 실제 변경이 있을 때만 움직이는 반면, 실제 경과 시간(wall-clock time)은 자체적으로 변동될 수 있습니다.