챗봇에 대한 사용자 만족도를 높이려면 충분한 테스트를 수행해야 합니다. 모델 학습이 완료된 후에는 챗봇 제작자가 의도한 설계대로 동작하는지, 더 보강할 항목은 없는지를 테스트하며 검증하는 단계가 필요합니다. 네이버 클라우드 플랫폼의 챗봇 빌더에서는 고도화된 테스트 도구를 제공하며, 테스트 환경을 설정한 후 학습한 대화를 직접 테스트할 수 있습니다.
테스트하려면 대화 모델 학습이 완료되어야 하므로, 먼저 빌드를 완료해 주십시오. 빌드하지 않은 경우에는 테스트를 제대로 진행할 수 없습니다.

테스트의 종류

수동 테스트: 직접 수동으로 질문을 입력하여 테스트합니다.
자동 테스트: 엑셀 파일을 업로드하여 자동으로 테스트합니다. 정해진 양식의 질문 목록을 업로드한 후, 자동 테스트를 통해 추출되는 답변을 한 번에 확인할 수 있습니다
품질 테스트: 자동 테스트의 고급 기능으로, 베타 버전이 변경되는 시점마다 자동으로 테스트를 진행하여 데이터의 품질을 체크할 수 있습니다.

수동 테스트

연동할 메신저와 날짜/시간 조건을 지정하는 등 테스트 환경을 직접 선택한 후 학습한 대화를 테스트할 수 있습니다.
빌드 완료된 챗봇을 수동으로 테스트하는 방법은 다음과 같습니다.

네이버 클라우드 플랫폼의 콘솔에서 Service > CLOVA Chatbot > Domain 메뉴를 차례대로 클릭해 주십시오.
원하는 도메인의 [빌더 실행하기] 버튼을 클릭하여 챗봇 빌더를 실행해 주십시오.
챗봇 빌더에서 수동 테스트 메뉴를 클릭해 주십시오.
테스트할 환경을 설정해 주십시오.
- 테스트 환경: 테스트를 수행할 베타 또는 서비스 환경을 선택할 수 있습니다.
- 날짜/시간: 특정 날짜/시간을 설정하여 테스트를 수행할 수 있습니다.
- 메신저: 테스트를 수행할 메신저를 선택할 수 있습니다.
- 컨텍스트: 특정 컨텍스트를 설정한 후 테스트를 시작할 수 있습니다. 챗봇 서비스의 중간 흐름부터 테스트가 필요한 경우, 특정 컨텍스트를 설정하여 해당 부분부터 테스트를 시작할 수 있습니다. 단, 컨텍스트를 설정한 후 테스트를 시작하는 경우 웰컴 메시지는 지원되지 않습니다.
- 사용자 변수: 사용자 변수에 담긴 값을 특정 값으로 설정한 후 테스트를 시작할 수 있습니다.
- 보이스: 특정 보이스를 설정한 후 테스트할 수 있습니다. CLOVA Aicall의 보이스 설정과 맞춘 후 테스트를 진행하는 것을 권장합니다.
테스트 시작 방식을 선택해 주십시오.
- 웰컴으로 시작: 웰컴 메시지부터 테스트할 수 있습니다.
- 바로 시작: 웰컴 메시지 없이 바로 테스트할 수 있습니다.
테스트 창이 나타나면 질문을 입력해 주십시오.
- 테스트 진행 방법은 테스트 진행을 참고해 주십시오.
- 테스트 진행 중에 [설정 확인] 버튼을 클릭하면 테스트 환경 설정을 확인할 수 있습니다.
- [초기화] 버튼을 클릭하면 테스트 설정을 변경한 후 다시 테스트할 수 있습니다.
테스트 결과를 확인해 주십시오.
- 테스트 결과 확인 방법은 테스트 결과 확인를 참고해 주십시오.

참고

도메인이 Aicall인 상태에서 챗봇 빌더 내에서 수동 테스트하는 경우 빌트인 변수 *cicRequest.session.callInfo.callee와 *cicRequest.session.callInfo.caller 정보의 값이 비어 있어 테스트가 어렵습니다. 하지만 테스트 설정 시 해당 값을 설정하면 수동 테스트 내에서도 callee, caller 정보를 활용한 시나리오를 테스트할 수 있습니다.

테스트 진행

테스트 창에 직접 테스트 쿼리를 입력하여 테스트를 진행합니다.

만약 FAQ 챗봇 서비스를 구축한다면, 학습셋으로 등록하지 않은 다양한 베리에이션의 사용자의 발화가 의도에 맞는 적합한 대화에 매칭되는지를 테스트해야 합니다. 이는 챗봇 서비스의 의도 분석 성능을 테스트하는 것이라고 볼 수 있습니다.
특정 업무를 수행하는 Goal oriented task 형태의 챗봇 서비스를 구축한다면, 의도 분석 성능 테스트뿐만 아니라 시나리오 흐름 테스트를 진행하는 것을 권장합니다. 사용자가 발생시키는 다양한 상황의 흐름에 맞춰, 정의된 시나리오를 챗봇이 제대로 수행해내는지, 또는 시나리오 흐름에 누락된 부분은 없는지를 테스트합니다.

chatbot-chatbot-4-4_01_ko

테스트 결과 확인

테스트 진행 화면의 우측 탭에서는 분석된 정보, 응답 결과에 대한 정보, log 정보를 확인할 수 있습니다. 이 정보를 활용하여 제작자가 설계한 대로 챗봇이 정상적으로 동작하는지 확인합니다. 마지막 턴의 정보뿐만 아니라 좌측 테스트 화면에서 확인하고자 하는 턴의 말풍선을 클릭하면, 해당 턴의 정보를 다시 확인할 수 있습니다.

분석된 정보 탭
해당 턴에 분석된 정보를 확인할 수 있습니다.

chatbot-chatbot-4-4_02_ko

엔티티: 사용자의 발화 속에서 분석된 엔티티 정보를 확인할 수 있습니다.
슬롯: 태스크가 시작된 경우 해당 슬롯에 어떤 엔티티가 채워졌는지에 대한 정보를 확인할 수 있습니다.
컨텍스트: 해당 턴에 차감되고 추가된 컨텍스트의 정보와 횟수 정보를 확인할 수 있습니다.
사용자 변수: 해당 턴에 업데이트된 사용자 변수의 정보를 확인할 수 있습니다.
보이스 설정: 보이스 설정을 한 경우, 말풍선 아래의 '더보기'를 클릭하면 확인할 수 있습니다.

응답 결과
시스템이 응답한 답변/메시지의 정보를 확인할 수 있습니다. 특정 대화에 매칭된 경우 매칭 사유를 확인할 수 있으며, 실패 메시지 또는 무응답 메시지 등이 응답된 경우에도 매칭 사유를 확인할 수 있습니다.
chatbot-chatbot-4-4_03_ko

exact 매칭: 입력한 테스트 쿼리와 동일한 일반 질문 데이터가 해당 대화에 등록되어 매칭된 경우를 말합니다.
정규식 매칭: 입력한 테스트 쿼리의 패턴이 해당 대화에 등록된 정규식 질문에 매칭된 경우를 말합니다.
의도분류기 매칭: 입력한 테스트 쿼리에 대하여 의도분류기에서 분석한 인텐트가 해당 대화에 등록된 인텐트 질문에 매칭된 경우를 말합니다.
모델 매칭: 입력한 테스트 쿼리에 대하여 대화 모델이 해당 대화와 유사하다고 분석하여 매칭된 경우를 말합니다.
대화 이동: 후속동작의 대화이동 기능을 활용하여 대화 이동한 경우를 말합니다.

Log 확인
로그를 확인할 수 있습니다. 장애가 발생하여 고객센터에 문의 시 해당 턴의 raw 로그를 전달하면 더 정확한 답변을 받을 수 있습니다.

자동 테스트

테스트가 필요한 질문을 엑셀 파일로 작성한 후 업로드하면 그 결과를 엑셀 파일로 다운로드 받을 수 있습니다.
자동 테스트하는 방법은 다음과 같습니다.

네이버 클라우드 플랫폼의 콘솔에서 Service > CLOVA Chatbot > Domain 메뉴를 차례대로 클릭해 주십시오.
원하는 도메인의 [빌더 실행하기] 버튼을 클릭하여 챗봇 빌더를 실행해 주십시오.
챗봇 빌더에서 자동 테스트 > [일괄 테스트] 탭을 클릭해 주십시오.
테스트 설정 영역을 열어 날짜/시간 조건과 메신저 조건을 설정해 주십시오.
[불러오기] 버튼을 클릭하여 테스트 파일을 등록해 주십시오.
- xls 및 xlsx 형식의 파일만 업로드할 수 있습니다.
- 테스트 파일이 없는 경우, [테스트 템플릿 다운로드] 버튼을 클릭하여 템플릿을 다운 받아 테스트 파일을 제작해 주십시오. 템플릿 파일의 A열에 예상 질문을 입력하면 됩니다.
테스트 메시지 팝업 창이 나타나면 [확인] 버튼을 클릭해 주십시오.
작업 결과를 확인하기 위해 [작업 관리] 버튼을 클릭해 주십시오.
작업 목록에서 작업 상세 항목의 엑셀 파일 링크를 클릭해 주십시오.
- 업로드한 테스트 파일에 대한 결과를 확인할 수 있습니다.

품질 테스트

품질 테스트를 통해 버전별 챗봇 품질을 테스트할 수 있습니다. 최신 베타 버전이 변경되는 시점마다 품질 평가를 자동으로 진행합니다. 해당 도메인에서 주요하게 관리해야 하는 질문과 이에 매칭되길 기대하는 대화 이름을 품질 평가 데이터로 등록합니다. 평가가 완료되면 Pass율을 확인할 수 있으며, 작업 관리 페이지에서 상세 내역을 다운로드할 수 있습니다.
품질 테스트 방법은 다음과 같습니다.

네이버 클라우드 플랫폼의 콘솔에서 Service > CLOVA Chatbot > Domain 메뉴를 차례대로 클릭해 주십시오.
원하는 도메인의 [빌더 실행하기] 버튼을 클릭하여 챗봇 빌더를 실행해 주십시오.
챗봇 빌더에서 자동 테스트 메뉴 > [품질 테스트] 탭을 클릭해 주십시오.
품질 테스트 설정의 [설정변경] 버튼을 클릭해 주십시오.
품질 테스트 서비스 영역을 ON으로 변경해 주십시오.
품질 테스트 파일 영역에 [업로드] 버튼을 클릭해 주십시오.
품질 테스트 파일 업로드 창에 품질 테스트 파일을 업로드하고 [확인] 버튼을 클릭해 주십시오.
- xls 및 xlsx 형식의 파일만 업로드할 수 있습니다.
- 테스트 파일이 없는 경우, [품질 테스트용 템플릿 다운로드] 버튼을 클릭하여 템플릿을 다운 받아 테스트 파일을 제작해 주십시오. (A열에는 테스트할 쿼리 입력, b열에는 정답으로 매칭되어야 하는 대화의 대화 이름 입력)
테스트할 날짜/시간 조건과 메신저를 선택해 주십시오.
- 날짜/시간 설정 조건을 해제하려면 '선택 없음'을 선택합니다.
품질 테스트 설정의 [저장] 버튼을 클릭해 주십시오.
팝업 창이 나타나면 [확인] 버튼을 클릭해 주십시오.
- 챗봇 빌드가 완료되면 품질 평가를 자동으로 진행합니다.
- 품질 테스트 창에 Pass율이 표시되며, 작업 결과에서 테스트 완료 파일을 확인할 수 있습니다.