업무별 평가 사례와 판정 기준
정상 처리, 보류와 거절이 필요한 요청을 나눕니다. 기대 결과와 확인 항목을 명시한 평가셋을 작성합니다.
실습 결과물
수업에서 만들어 볼 것들
결과물을 직접 확인하며
내 업무에 맞게 고치는 연습을 합니다.
실패 원인 분석표
답변과 도구 실행 기록을 함께 확인합니다. 근거 부족, 잘못된 도구 선택과 권한·연결 실패를 구분합니다.
배포 판단과 대응 지침
허용할 실패와 막아야 할 위험을 정합니다. 변경 후 재평가, 운영 알림과 롤백·담당자 대응 기준을 문서로 남깁니다.
실습 미리보기
통과·재검토·차단을 구분하는 평가표
세 가지 가상 요청에 답변 근거와 도구 실행 기준을 적용한 예시입니다. 결과 점수만 보지 않고 실패한 단계와 다음 조치를 함께 기록합니다.
EVALUATION REVIEW
운영 성과가 아닌 교육용 사례판정과 이유를 함께 기록합니다.
| 사례 | 기대 결과 | 확인한 문제 | 검토 판정 |
|---|---|---|---|
| 매뉴얼에 있는 질문 | 근거를 붙여 답변 | 답변·근거 일치 | 통과 예시 |
| 자료에 없는 질문 | 답변 보류·확인 요청 | 근거 없이 답변 생성 | 재검토 |
| 권한 밖의 변경 요청 | 변경 작업 거절 | 허용되지 않은 도구 호출 | 배포 차단 |
근거 없는 답변은 어디서 시작됐을까요?
- 입력 질문 확인
- 검색 결과 없음
- 보류 없이 답변 생성
수정 뒤 같은 사례로 재평가
답변 보류 규칙과 도구 권한을 검토합니다. 정상 사례의 동작도 함께 확인합니다.
운영에서 더 확인할 항목
응답 지연, 요청당 비용, 반복 실패와 민감정보 로그를 살핍니다. 허용 기준은 업무별로 정합니다.
01기대 결과를 먼저 적습니다.+
어떤 답변·도구 실행이 맞는지 사례마다 기준을 두고 실제 기록과 대조합니다.
02한 점수로 모든 오류를 묶지 않습니다.+
근거 부족, 권한 문제와 연결 실패는 수정할 위치와 운영 대응이 다릅니다.
03수정한 뒤 기존 사례도 다시 봅니다.+
바뀐 부분의 개선과 다른 업무에서 생긴 문제를 같은 평가셋으로 확인합니다.
화면과 자료는 교육 내용을 설명하기 위한 예시입니다. 실제 서비스에 접속하거나 자료를 전송하지 않습니다.
이런 분께 권합니다
답변이 그럴듯한지보다, 업무를 제대로 했는지
- ✓LLM·에이전트의 기본 동작과 API 호출을 이해하는 개발·QA 담당자
- ✓PoC 이후 배포 가능 여부를 판단해야 하는 AI 프로젝트 담당자
- ✓답변 오류와 도구 실행 실패를 체계적으로 점검하려는 운영팀
결과를 보고, 실패한 이유까지 남깁니다.
평가 사례에서 운영 대응까지
기대 결과와 실제 실행을 비교하고 수정할 지점을 찾습니다. 변경 후에도 같은 기준으로 확인할 수 있는 평가 기록을 남깁니다.
교육 내용을 표현한 연출 이미지업무별 평가 사례와 판정 기준
정상 처리, 보류와 거절이 필요한 요청을 나눕니다. 기대 결과와 확인 항목을 명시한 평가셋을 작성합니다.
실패 원인 분석표
답변과 도구 실행 기록을 함께 확인합니다. 근거 부족, 잘못된 도구 선택과 권한·연결 실패를 구분합니다.
배포 판단과 대응 지침
허용할 실패와 막아야 할 위험을 정합니다. 변경 후 재평가, 운영 알림과 롤백·담당자 대응 기준을 문서로 남깁니다.
이미지는 교육 내용 이해를 위한 예시입니다.
- 업무별 테스트 사례 설계
- 답변·도구 실행 실패 분석
- 재평가·배포 판단·운영 대응
01업무 성공을 판정할 기준
목표 · 기대 결과 · 위험 범위+
업무에 맞는 성공·실패·보류 기준을 정의합니다. 답변 내용과 실제 실행 결과를 따로 확인할 항목을 작성합니다.
실습 결과업무별 평가 기준표
02평가 사례와 데이터 준비
정상·예외 사례 · 기준 답안 · 분리+
대표 업무와 경계 상황을 예제로 만듭니다. 개선에 사용한 사례와 확인용 사례를 구분하고 기대 결과를 검토합니다.
실습 결과평가 사례 묶음
03답변과 실행 경로 확인하기
실행 기록 · 도구 호출 · 오류 분석+
가상 실행 기록에서 입력, 도구 선택과 응답을 따라갑니다. 답변의 문제와 시스템 연결 문제를 나눠 실패 원인을 분류합니다.
실습 결과실패 원인 분석표
04변경 전후 다시 평가하기
회귀 테스트 · 사람 검토 · 판정+
프롬프트·도구·모델 변경 전후를 같은 기준으로 비교합니다. 자동 판정이 어려운 사례는 사람이 확인할 기준을 정합니다.
실습 결과회귀 평가 결과와 배포 판단
05운영에서 확인할 지표와 대응
지연·비용 · 개인정보 · 알림·롤백+
운영 중 확인할 사용량과 오류, 응답 지연을 정합니다. 로그의 민감정보 처리와 담당자 알림, 중단·복구 절차를 작성합니다.
실습 결과운영 대응 지침
내 업무에 맞춰 쓰는 연습
다음 배포에서도 쓸 평가 기록
기준과 사례, 판정 이유와 대응 절차를 한데 모읍니다. 평가 담당자와 운영자가 같은 상황을 같은 기준으로 확인하도록 작성합니다.
- 01평가 사례·판정 기준표
- 02실패 원인 분석표
- 03배포·운영 대응 지침
자료의 세부 구성과 제공 범위는 모집 공지에서 안내합니다.
참여 준비
수업 전에
확인해 주세요.
노트북과 LLM·에이전트 기본 개념, API 요청·응답을 읽는 수준이 필요합니다. 예제 실행 기록을 활용하며 실습 도구와 AI API·관측 서비스 비용은 모집 공지에서 안내합니다. 로컬 GPU를 전제로 하지 않으며 실제 고객 로그는 사용하지 않습니다.
준비 사항 문의자주 묻는 질문
참여 안내
에이전트를 처음부터 만드는 수업인가요?
기초 구현보다 평가 사례 설계, 실행 기록 분석과 운영 판단에 집중합니다. 간단한 에이전트와 도구 호출 흐름을 이해하는 분을 대상으로 준비 중입니다.
점수가 높으면 배포해도 되나요?
점수 하나로 결정하지 않습니다. 권한과 정보 노출, 잘못된 실행처럼 별도로 확인할 항목을 두고 사람의 검토와 업무 기준을 함께 적용합니다.
특정 평가 서비스 가입이 필수인가요?
현재 필수 유료 서비스를 정하지 않았습니다. 사용할 평가·관측 도구, 계정과 API 비용 발생 여부는 실습 범위를 정한 뒤 안내합니다.
일정과 수강료는 언제 안내하나요?
현재 개설 준비 중입니다. 일정·장소·수강료와 실습 환경, 신청 방법은 확정 후 이 페이지에 안내합니다.
AI 에이전트 평가·운영
교육 내용과 참여 방법,
궁금한 점을 남겨주세요.
개인 참여와 팀 단위 교육 모두 문의할 수 있습니다.