なぜ「規約通り」のAI出力が一発で使えないのか
業務でAIに文章や資料を作らせる際、多くの現場ではまず「規約」を用意します。「読みやすく」「簡潔に」「構成はこの順番で」といった言葉で書かれたルールです。一見すると、これに従わせればAIの出力は安定するように思えます。
ところが実際にAIへ規約を渡して生成させると、規約には違反していないのに、なぜか使い物にならない出力が返ってくることがあります。文字数は指定通り、見出しの数も指定通り、それでも「これは通用しない」と感じてしまう。この違和感の正体は、規約そのものの精度ではなく、規約が「言葉」でしか書かれていないことにあります。
「読みやすく」という言葉は、書いた本人の頭の中には具体的な基準（段落の長さ・語尾の変化・冒頭の型など）が存在しています。しかしその基準は言語化されないまま規約の外に置き去りにされ、AIには伝わりません。結果として、規約とすでに世に出して通用した実物との間には、書き手が意識していないズレが必ず生まれます。この余白こそが、規約を実物と照らし合わせる作業を必要にしている理由です。
「通用した」をどう定義するか——合格作の条件を先に決める
実物を実測する前に、決めておくべきことがあります。何をもって「通用した」と呼ぶのか、という合格作の定義です。ここを曖昧にしたまま数を集めると、実測そのものの土台が揺らぎます。
「通用した」の候補は一つではありません。読者やユーザーの反応が良かったもの、公開して取り下げにならず使われ続けたもの、そもそもの目的（問い合わせを増やす、理解を助ける、契約に至るなど）を達成したもの——これらは似ているようで、実は別の基準です。反応が良かったものだけを集めると、話題性はあるが目的を達していない実物が混ざる可能性があります。
どの定義を採用するかは業務ごとに異なってよいものです。大切なのは、実測を始める前に「今回は目的を達したものだけを合格作とする」といった線引きを一文で決め、後から混ざらないようにしておくことです。定義があいまいなまま数を集めた基準は、実測しても規約と同じ精度でしかありません。たとえば「反応がよかったが目的を達していない」実物を教師にしてしまうと、AIは目的達成に効かない型ばかりを学習してしまいます。
実物を数え直すとは何をすることか
規約と実物のズレを埋める方法は、規約を書き直すことではありません。規約を作った基準そのものを、すでに世に出して通用した実物の実測に置き換えることです。
relmeaでも、社内で運用していた記事作成の規約を一度棚卸しし、実際に公開して読者の反応を得られた記事だけを対象に、見出しの数・段落の文長・冒頭の型といった構造的な要素を機械的に数え直したことがあります。結果は率直に言って驚くものでした。頭の中で「こう書いているはず」と思っていた規約と、実際に通用していた記事の構造は、いくつかの点で食い違っていたのです。
この作業のポイントは「記憶」や「印象」に頼らないことです。人は自分が書いたものを実際より整った形で覚えています。だからこそ、実物をファイルやテキストとして取り出し、文字数を数え、見出しの数を数え、段落の区切りを数える——という機械的な作業が必要になります。感覚に頼った棚卸しでは、同じズレを見逃してしまいます。
何を測るか——測っていい項目と、測ってはいけない項目
実物を実測するときに大切なのは、「面白いかどうか」「伝わるかどうか」といった主観的な評価軸を最初から除外することです。主観は人によって割れるため、基準にした瞬間にAIへの指示として機能しなくなります。
代わりに測るのは、誰が数えても同じ値になる構造的な項目です。たとえば次のようなものが挙げられます。
- 見出し（大見出し・小見出し）の本数
- 1段落あたりの文の数、または文字数
- 本文全体の文字数
- 冒頭が疑問形か、断定形か、共感の言葉から始まっているか
- 箇条書きが使われている箇所の割合
これらはいずれも、人の感覚を挟まずに数えられる項目です。合格した実物を複数集めてこれらを数えると、規約に書かれていた「簡潔に」「読みやすく」が、実際には具体的にどんな数値レンジだったのかが見えてきます。
一方で、数値にした瞬間に形だけ真似される項目もあります。たとえば「感動的な体験談を1つ入れる」「読者への問いかけを3回入れる」といった項目です。これを基準として明文化すると、AIも人も、体験談や問いかけを中身と無関係に差し込むようになり、数値上は基準を満たしていても実物が持っていた説得力は再現されません。測ってよいのは「量」や「型」のような構造の項目までで、説得力の源泉そのものを数値目標にしないことが必要です。型だけを数値化すると、AIはその型をなぞるだけの文章を量産するようになります。
範囲の作り方——合格作が少ない段階の扱いと、実測値を渡しても守られない時の対処
実測を終えると、次にやりたくなるのが「平均を取って1つの正解値にする」ことです。しかしこれは避けたほうがよい設計です。通用した実物は1本ではなく複数あり、それぞれの数値には幅があります。平均という1点に丸めてしまうと、実物が持っていた許容範囲そのものが失われてしまいます。
基準として渡すべきは、下限と上限を持った範囲です。「本文は◯字から◯字の間」「1段落は最大◯文まで」というように、実物の実測値をそのまま下限・上限として扱います。AIへの指示は「ちょうど◯字で書け」ではなく「◯字から◯字の範囲に収めろ」という形にするほうが、実際に通用していた幅の中に出力を収めやすくなります。
問題は、合格作がまだ数本しかない段階です。3本や5本の実測値をそのまま範囲として固定すると、たまたまその数本が持っていた偏りを基準にしてしまいます。合格作が十分に積み上がるまでは、実測した下限・上限をそのまま使うのではなく、上下に少し余裕を持たせた広めの範囲を暫定として運用し、合格作が二桁に乗ったタイミングで範囲を狭め直す、という二段階の運用が現実的です。
範囲を明示しても、AIの出力が範囲に収まらないことがあります。多くの場合、範囲だけでは「どこで区切ればよいか」の判断材料が足りていません。この場合は、範囲に加えて「見出しごとの目安文字数」や「1見出しにつき段落は何個まで」といった、範囲を内側から支える下位の目安を追加すると、出力は範囲の中に収まりやすくなります。範囲は外枠、下位の目安は内側の仕切りだと考えると、追加すべき指示の見当がつきやすくなります。
それでも収まらない場合は、範囲そのものが実物の幅を正しく反映していない可能性を疑い、実測をやり直す方が近道です。この範囲づくりは一度作って終わりではありません。新しく通用した実物が増えるたびに、同じ手順で数え直し、範囲を作り直す前提を持っておく必要があります。基準を一度作ったきり見直さないことは、規約が実物からずれていく状態を放置することと同じです。
AIに任せる部分と、人が判断する部分の線引き
ここまでの手順は、あくまで「構造の量」を基準化する作業です。見出しの本数や段落の長さ、全体の文字量といった項目は、AIに指示として渡せる領域です。AIはこの範囲を守って出力することが得意であり、範囲を渡すだけで一発で使える確率は上がります。
一方で、「面白いか」「共感できるか」「この一文に説得力があるか」といった評価は、数値化せずに人が持ち続けるべき領域です。無理にスコア化しようとすると、評価そのものが形骸化し、数値は良いのに読んでもつまらない、という状態を生みます。
基準づくりの目的は、AIから人の判断を奪うことではありません。構造という機械的に扱える部分をAIに渡し切ることで、人が本来時間をかけるべき「面白いか・伝わるか」の判断に集中できるようにすることです。