사용자들의 실제 이용 방식이 챗봇 설계 과정에서 예상한 발화 유형과 다를 수 있고, 모델링 시 모든 사용자들의 발화 패턴을 대변했다고 할 수 없기 때문에 통계 데이터 및 유입된 사용자의 발화 기록을 분석하는 것은 중요한 작업입니다. 네이버 클라우드 플랫폼에서는 지속적으로 대화 모델을 개선할 수 있도록 다양한 분석 지표를 제공합니다. 도메인별 통계 데이터를 확인할 수 있고, 각 도메인의 상세 통계 데이터를 확인할 수도 있습니다.
통계 데이터 확인
도메인별 사용자 또는 사용자 대화에 대한 통계 데이터를 확인하려면 네이버 클라우드 플랫폼의 콘솔에서 Services > CLOVA Chatbot > Management 메뉴를 클릭해 주십시오.
개요
도메인별 사용자 및 사용자 대화에 대해 다음과 같은 통계 데이터를 확인할 수 있습니다.
- 실제 서비스되는 도메인의 실사용자, 메시지, 세션 건수 및 증감률
- 시간당 평균 및 시간당 최대 사용자, 메시지, 세션 정보
- 평균 실사용자와 대화 세션별 평균 메시지 정보
- 챗봇 서비스의 대화모델 빌드 수 및 서비스 배포 수
실사용자
챗봇 실사용자의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별로 실사용자 정보를 확인할 수 있습니다.
- 주별, 월별 실사용자 추이 정보를 제공합니다.
메시지
사용자 메시지의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 메시지 건수를 확인할 수 있습니다.
- 주별, 월별 메시지 추이 정보를 제공합니다.
세션
챗봇 대화 세션의 증감 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 모든 세션 건수를 확인할 수 있습니다.
- 주별, 월별 대화 세션 추이 정보를 제공합니다.
- 세션당 사용자의 평균 메시지 정보도 확인할 수 있습니다.
빌드
도메인 관리자의 대화모델 빌드 및 서비스 배포 정보를 제공합니다.
- 1일 기준으로 조회 시, 시간대별 빌드 횟수와 빌드 실패 횟수 정보를 확인할 수 있습니다.
- 주별, 월별 대화모델 빌드 및 서비스 배포 정보를 제공합니다.
통합 지표 확인
특정 도메인의 통합 지표를 확인하는 방법은 다음과 같습니다.
- 네이버 클라우드 플랫폼의 콘솔에서 Services > CLOVA Chatbot > Domain 메뉴를 차례대로 클릭해 주십시오.
- 원하는 도메인의 [빌더 실행하기] 버튼을 클릭하여 챗봇 빌더를 실행해 주십시오.
- 챗봇 빌더에서 [통합 지표] 메뉴를 클릭해 주십시오.
통합 지표
챗봇 사용자 및 사용자 대화에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 챗봇 서비스의 실사용자, 사용자 메시지, 대화 세션 건수 및 증감률, 실패 대화, 일반 메시지 건수, 단일 답변 건수, 유사 답변 건수, 고객센터 연동 건수, 서비스 연동(LINE pay, Naver pay, 지식 검색 서비스 )건수 등
- 평균 실사용자 및 대화 세션별 평균 메시지 정보 및 추이
순위 지표
챗봇 사용자 대화에 대해 다음과 같은 순위 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 특정 기간 동안 가장 많이 응답된 대화 이름, 대화 유형, 엔티티의 순위
운영 지표
실패 대화와 불만족 대화 재학습에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- 실패 대화(불만족 대화) 건수, 수정 건수, 검토 보류 건수, 검토 제외 건수, 총 검토 건수
피드백 지표
피드백과 관련된 대화에 대해 다음과 같은 통계 데이터를 제공하며, 최근 반영된 데이터 시간을 표시합니다.
- YES/NO 피드백 비율, 피드백 만족률/응답률, 전체 피드백 건수, 대화 이름별 피드백 건수
한국어 도메인에서는 사용자 질문에 내포된 감정을 긍정적, 부정적, 중립적으로 분석한 감정 분석 데이터를 제공합니다. 데이터 클릭 시 해당 감정으로 분류된 질문을 확인할 수 있습니다.