ログ情報を元に再学習させたい

シナリオ/FAQ判定精度改善ログの情報を元に、シナリオ判定に失敗したユーザー発言を、既存シナリオ/FAQを選択して発言例に追加、または新規シナリオ/FAQの発言例として作成することが可能です。
また、シナリオ/FAQに反映させる必要のないユーザー発言を、除外ワードとして登録することで、判定精度改善ログへの表示を制御することも可能です。

  手順(シナリオの発言例に追加)

  1. 左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。

  2. 『シナリオ/FAQ判定精度改善』タブをクリックしてください。

  3. 『ログ種別』リストから「シナリオ」を選択することで、シナリオの判定精度改善ログが確認できます。

  4. ユーザー発言ごとに、関連すると思われるシナリオ候補が、スコア順に上位3位まで表示されます。

    判定結果より、シナリオ判定失敗後のユーザー動作が確認できます。
    判定結果 説明
    候補なし
    シナリオ判定ができなかった場合
    (シナリオ判定結果のスコア(確信度)が全て0.2以下)
    候補複数提示(シナリオ<選択したシナリオ名>を選択)
    シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
    (シナリオ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)
    候補複数提示([どれでもない]を選択)
    シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
    ( シナリオ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)
    4-1. ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にある場合

    4-1-1. 発言例を追加したいシナリオ行の、”+発言例に追加“をクリックしてください。
    4-1-2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
    4-2. ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にない場合

    4-2-1. シナリオ候補の下にあるシナリオ選択リストから、発言例を追加したいシナリオを選択し、”+発言例に追加“をクリックしてください。
    4-2-2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
    4-3. ユーザー発言を発言例として利用し、新規シナリオを作成する場合

    4-3-1. “+新しいシナリオを作成“ボタンをクリックしてください。
    4-3-2. 『ユーザー発言例』にユーザー発言の内容が入力された状態で、新規シナリオ作成画面が表示されます。
    シナリオを作成し、”保存“ボタンをクリックしてください。

  5. 左メニューの『チャットボット一覧』から、発言例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。

  6. 公開中のアプリケーションに反映させる場合は、再度公開を行います。

    6-1. 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
    6-2. アプリケーション画面の”公開“ボタンをクリックしてください。

  手順(FAQの質問例に追加)

  1. 左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。

  2. 画面上部にある『シナリオ/FAQ判定精度改善』タブをクリックしてください。

  3. 『ログ種別』リストから「FAQ」を選択し、右に表示される『FAQ』リストから既存FAQ集を選択することで、FAQ集ごとの判定精度改善ログが確認できます。

  4. ユーザー発言ごとに、関連すると思われる質問回答候補が、スコア順に上位3位まで表示されます。

    判定結果より、FAQ判定失敗後のユーザー動作が確認できます。
    判定結果 説明
    候補なし
    FAQ判定ができなかった場合
    (FAQ判定結果のスコア(確信度)が全て0.2以下)
    候補複数提示(シナリオ<選択したFAQ名>を選択)
    FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
    (FAQ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)
    候補複数提示([どれでもない]を選択)
    FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
    ( FAQ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)
    4-1. ユーザー発言を質問例として追加したい質問回答が、質問回答候補にある場合

    4-1-1. 質問例を追加したい質問回答行の、”+質問例に追加“をクリックしてください。
    4-1-2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
    4-2. ユーザー発言を質問例として追加したい質問回答が、質問回答候補にない場合

    4-2-1. 質問回答候補の下にある質問回答選択リストから、質問例を追加したい質問回答を選択し、”+質問例に追加“をクリックしてください。
    4-2-2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
    4-3. ユーザー発言を質問例として利用し、新規質問回答を作成する場合

    4-3-1. “+新しい質問回答を作成“ボタンをクリックしてください。
    4-3-2. 『質問例』にユーザー発言の内容が入力された状態で、新規質問回答作成画面が表示されます。
    質問回答を作成し、”保存“ボタンをクリックしてください。

  5. 左メニューの『チャットボット一覧』から、質問例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。

  6. 公開中のアプリケーションに反映させる場合は、再度公開を行います。

    6-1. 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
    6-2. アプリケーション画面の”公開“ボタンをクリックしてください。

  手順(除外ワード登録)

  1. 除外ワードを登録したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。

    1-1. 判定精度改善ログに登録されたユーザー発言を、除外ワードとして登録する場合

    1-1-1. 除外ワードとして登録したいユーザー発言が含まれた判定精度改善ログを表示してください。

    1-1-2. 除外ワードとして登録したいユーザー発言行の”-該当シナリオなし“ボタンをクリックしてください。
    1-1-3. 「ユーザー発言を除外ワードに追加しました。」というメッセージが表示されます。
    1-1-4. 除外ワードを確認する場合は、 “除外ワード“をクリックし、除外ワード画面を開きます。
    1-1-5. ユーザー発言が除外ワードとして登録されたことを確認してください。
    1-2. 除外ワードを予め登録する場合

    1-2-1. 判定精度改善ログに反映させる必要のないキーワードを予め登録することが可能です。
    除外ワード“をクリックしてください。

    1-2-2. “+新規作成“ボタンをクリックしてください。
    1-2-3. 『キーワード』に除外したいキーワードを入力し、”保存“ボタンをクリックしてください。
    1-2-4. 除外ワードとして登録されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
  2. 除外ワードに登録されたキーワードを含む(部分一致)ユーザー発言は、判定精度改善ログでの非表示対象となります。
    除外ワードは、シナリオ/FAQのどちらのログにも反映されます。

    例:「これはチャットボットですか?」を除外ワードに登録

  手順(除外ワード削除)

  1. 登録した除外ワードを削除したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。

  2. 除外ワード“をクリックしてください。

  3. 除外対象から削除したいキーワード行の削除”דボタンをクリックしてください。

  4. キーワードが削除されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。

  5. 除外ワードから削除されたキーワードを含む(部分一致)ユーザー発言は、判定精度改善ログでの表示対象となります。
    除外ワードは、シナリオ/FAQのどちらのログにも反映されます。

    例:「これはチャットボットですか?」を除外ワードから削除

  手順(除外ワード編集)

  1. 除外ワードを編集したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。

  2. 除外ワード“をクリックしてください。

  3. 編集したい”キーワード“をクリックしてください。

  4. 『キーワード』を編集し、”保存“ボタンをクリックしてください。

  5. 編集後のキーワードが反映されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
Last updated on 2019/07/01.