「時間は減った。で、品質は？」に答えられない理由
AIを業務に入れて数ヶ月たつと、社内でこんな会話が起きます。「案内文を書く時間は半分になりました」「それで、中身は前より良いの？悪いの？」。ここで多くの担当者が答えに詰まります。
時間は測りやすい指標です。7月の記事で扱った費用対効果も、削減時間から逆算する考え方でした。一方で品質は、人がやっていた頃から測っていなかったことがほとんどです。AIに任せた途端に「良いか悪いか分からない」状態が表に出るだけで、問題は前からあったとも言えます。
もう一つ、人が書いていた頃は書く人・確認する人・送る人と2〜3人の目を通っていたものが、AIに任せると確認する人が1人に減り、慣れるとその1人も流し読みになります。気づく機会が減った分、意識して測る仕組みが要ります。
品質を測るとは、完璧を目指すことではありません。「どこまでなら許せるか」を先に決め、その線を越えていないかを定期的に見ることです。
指標は3種類に分けて作る
品質の指標を1つの数字にまとめようとすると、たいてい失敗します。守りと成果は別の物差しだからです。現場で機能するのは、次の3種類を並べて見る形です。
| 種類 | 何を見るか | 例 |
|---|---|---|
| 止める指標（守り） | 起きてはいけないことが起きていないか | 日付・金額・固有名詞の誤り、社外秘の混入 |
| 直す率（手間） | 人がどれだけ手を入れたか | 10通のうち、手直しなしで出せた通数 |
| 相手の反応（成果） | 受け取った側にどう届いたか | 折り返しの問い合わせ件数、返信率 |
止める指標だけだと、「ミスはないが誰も読まない文章」に気づけません。相手の反応だけだと、日付の誤りのような事故が数字に出るまで時間がかかります。直す率は、AIが自社の型をどれだけ覚えたかの指標です。3つを同時に見て、はじめて「任せて大丈夫か」が判断できます。
現場でよくある3つの判断ミス
1. 「AIの精度」を測ろうとする。 「このAIの正答率は何％か」を調べ始める会社がありますが、一般論の正答率と、自社の案内文に日付の誤りが混ざる確率は別の話です。測るのはAIの性能ではなく、自社の業務で出てきた結果です。
2. 100点満点で採点しようとする。 文章の分かりやすさ、丁寧さ、簡潔さを5段階で採点する表を作ると、最初の週は回っても翌月には誰も付けなくなります。続く形は○×で判定できる3項目までです。「日付が予定表と一致しているか」なら、誰が見ても同じ答えになります。
3. 最初から抜き取りにする、または全数のまま固定する。 導入直後に3通に1通しか見ないのは危険ですが、半年たっても全数を見ているなら、任せた意味が薄れます。全数から抜き取りへ移る条件を、直す率で先に決めておくのが型です。「手直しなしが4週続けて9割を超えたら、3通に1通に減らす」といった形です。
指標の作り方4ステップ
- 業務を1つ選び、失敗を1行で定義する。 「この業務で失敗したら、誰に何が起きるか」を書きます。「出店者が日付を間違えて来られない」のように、相手と結果を入れた1行にします。この1行が、止める指標の元になります。
- 止める指標を3つまで、○×で書く。 失敗の1行から逆算します。日付・金額・締切が元の資料と一致しているか。相手の名前や商品名が名簿と一致しているか。盛った言い回しや社外の人に見せない情報が入っていないか。
- 直す率を数える枠を作る。 週ごとに「出した本数」と「手直しなしの本数」を書く欄を、既存の日報や共有シートに1行足すだけで足ります。手直しの理由を一言添えると、AIへの指示文を直す材料になります。
- 相手の反応を1つ決め、月1回見る。 基準線は、人がやっていた頃の数字に置きます。記録がなければ、AIに任せた最初の月を基準にして、増えたか減ったかを見ます。
道の駅の場面に置き換える：出店者への案内メール
道の駅で、イベント出店者への案内メールをAIに下書きさせている場面で考えます。
失敗の定義は「日付・搬入時間・出店料の誤りで、出店者が来られない、または損をする」。止める指標は、日付と時間と金額が企画書と一致しているか、出店者名の表記が名簿と一致しているか、企画書にない条件が書き足されていないか、の3つ。この3つは担当者が全通を照らし合わせます。
直す率は、週の送信数と手直しなしの数を共有シートに書きます。最初の月は10通中4通に手直しが入り、理由は「言い回しが硬い」「注意事項の順番が違う」といったものでした。この理由をAIへの指示文に足すと、翌月には手直しが10通中1通に減る、というのがよくある経過です。
相手の反応は「案内を出した後の折り返し電話の本数」に置きます。人が書いていた頃は月に3本程度だった電話が、AIに任せて6本に増えたなら、止める指標に引っかからなくても、文章のどこかが分かりにくくなっているサインです。
3ヶ月たって直す率が9割を超え、折り返し電話が増えていなければ、止める指標の確認を3通に1通の抜き取りに移す。この判断の根拠が、指標を作った目的です。
指標は「見る場」とセットで決める
作った指標は、見る日を決めないと消えます。月に1回10分、直す率と相手の反応を並べて見る時間を、既存の月次の打ち合わせに足すのが現実的です。9月の記事で扱った導入3ヶ月の見直しは、この場で行うことを想定しています。
見るたびに指標を変えて構いません。指標を固定することより、月1回見る習慣が残ることのほうが大切です。
明日やれる一歩
明日、AIに任せている、または任せたい業務を1つ選び、「この業務で失敗したら、誰に何が起きるか」を1行で書いてください。
その1行があれば、止める指標の3項目は30分で書けます。品質を測る仕組みは、大がかりな評価表からではなく、失敗の定義を書いた1行から始まります。
