티스토리 뷰

 

대화 테스트는 작성한 모든 토픽과 룰을 대상으로 마치 처음 접하는 사용자인 것처럼 무작위로 대화를 걸어보는 테스트이다. 대본에 없는 말이나 순서를 뒤바꾸어 말을 걸었을 때 챗봇이 어떻게 반응하는가를 보고 수정이나 보완할 요소를 찾는 것이다. 따라서 대화 테스트는 룰 매칭이 되는가 하는 점보다는 대화 문맥에 맞는 대답을 하는가가 초점이 되며 이는 어떤 토픽이 활성화 되는가를 찾는 것과 같게 된다.

 

    :why

 

방금 전 챗봇의 대답이 왜 나왔는지 어떤 토픽의 어떤 룰과 매칭이 되어 그 답변이 나왔는지 근거를 보여 준다. 챗봇이 예상치 않은 답변을 보였을 때 유용한 툴이다. 어떤 토픽의 어떤 툴인지 보여 주므로 필요한 수정 작업을 할 수 있다.

 

    :show topics

대화 테스트를 하기 전에 :show topics라고 입력하면 이후 모든 입력문에 대해 키워드가 일치하는 모든 토픽을 보여준다. 따라서 챗봇의 응답이 왜 그렇게 나오는지 더 잘 이해할 수 있게 된다. 똑 같은 명령을 한 번 더 주면 명령을 끄는 것이 된다.

 

    :pending

 

대기 중인 토픽의 목록을 보여준다. 활성화 되어 있는 현재토픽은 :show topic로 알 수 있고, 현재토픽 외에 대기 상태에 있는 토픽, 따라서 챗봇이 룰 매칭을 시도할 확률이 높은 토픽의 목록은 :pending으로 확인할 수 있다.

 

3가지 명령어를 조합하면 챗봇이 왜 그 답을 하였는지 과정과 근거를 알 수 있게 된다. 만약 그 답변이 의도하지 않은 것이라면 토픽을 새로 만들거나 기존 토픽을 세분화하여 설계대로의 반응이 나오도록 수정을 해야 할 것이다.

'8장. 테스트 및 보완' 카테고리의 다른 글

6. 대화내용 분석하고 보완하기  (0) 2016.06.17
5. 최종 점검하기  (2) 2016.06.16
4. 대화 단위 테스트  (0) 2016.06.15
3. 토픽 단위 테스트  (0) 2016.06.14
2. 룰 단위 테스트  (0) 2016.06.13
1. 테스트 단계와 종류  (0) 2016.06.10
댓글
댓글쓰기 폼