おまかせ比較は外から観察するしかない。測り方を先に決めた

比較画面の動き

観察できた範囲では、比較画面は次のように動きます。

  • 起点の商品ページから開くと、比較の候補になる商品が集まる
  • 初期画面に「比べ方」が4つ出る。ユーザーは最大4つまで選べる
  • 選んだ比べ方に沿って、AIが勝ち抜き形式で商品を比べる
  • 判定文が添えられ、優勝が1つ出る

比べ方の名前は、開くたびに変わります。たとえばもつ鍋では、食べごたえ、大きさ、食感、脂のり、といった語が出ました。

条件を「系統」で決めた

名前が毎回変わるので、条件は名前でなく系統で定義しました。1商品あたり4条件を各3回、合計12回です。

  • C1: お得さ＋商品固有の軸
  • C2: 初期画面に出た4つ全部
  • C3: 商品固有の軸2系統（お得さは抜く）
  • C4: お得さのみ

測定スクリプト

12回×3商品を手作業で記録するのは、ぶれと取り違えが入りやすい作業です。そこで、ログイン済みのブラウザで比較画面を開き、勝ち残り表と判定文を読み取って記録するスクリプトを自作しました。

最初の版では、判定文の行だけを読んでいました。すると、途中の勝者と優勝を取り違えやすいことが分かりました。そこで、勝ち残り表そのものを読む処理を足しています。

牛たん: 本文に事実を足すと、判定文に引用された。勝敗は変わったと言えない

対象は、厚切り・味付け・150gの牛たんです。

改修前の結果

改修前は 5勝7敗でした。

  • C1（お得さ＋厚み）: 2勝1敗
  • C2（4つ全部）: 0勝3敗
  • C3（柔らかさ＋旨み）: 2勝1敗
  • C4（お得さのみ）: 1勝2敗

本文に足したもの

本文には、事実を数字で足しました。

  • 150g＝5枚、1枚約30g
  • 1〜2人前
  • 味付け済みで、焼くだけ
  • 部位の表記を1つに統一

同じ商品の量違いを含む6ページに反映しています。

改修後の結果

改修後は 6勝6敗でした。

  • お得さ＋厚み: 3勝0敗
  • 4つ全部: 2勝1敗
  • 柔らかさ＋旨み: 0勝3敗
  • お得さのみ: 1勝2敗

判定文には、新しい本文の語がそのまま出ました。「希少部位」と「5枚入りで1枚約30g」です。AIは本文を読んでいる、と見てよい観察です。

ただし、勝敗の変化は5勝から6勝の1勝です。12回ずつの測定では、1勝の差は回ごとのぶれの範囲に収まります。改善したとは言えません。

残る負け筋

負けの理由として残ったのは、「極厚9mm」「10mm」のように、厚さを数字で書く他店です。当店には厚さの実測値がありません。

担当者に確認したところ、回答が「8mm」「約1cm」「5mm〜1cm」と揺れました。そのため、実測するまでmmは書かず、「1枚約30g」で伝えています。

次の手は決まっています。定規で実測し、mmを追記し、同じ条件で測り直します。ここは未実施です。

ホルモン: 負け6回はポイント倍率の差。おまかせ比較では本文を直さなかった

対象は、味付け・600gのホルモンです。

結果

改修前の記録は 6勝6敗でした。

  • C1: 1勝2敗
  • C2: 2勝1敗（勝ち2回は自店の詰め合わせの優勝で、単品ではない）
  • C3（脂系＋味系）: 3勝0敗
  • C4（お得さのみ）: 0勝3敗

負けの理由は1つに集まっていた

負け6回は、すべて同じ他店A（1kg 6,999円）の優勝でした。判定文の理由は、ポイント倍率の「最大46.0倍 対 最大10.0倍」です。

実際のページで付与率の内訳を見ました。他店Aは合計44%、当店は4%です。

差は、モールのポイント施策（ボーナスセレクション +40%・対象商品限定）1本だけで、他の項目は同じでした。

お得さを外すと勝つ

お得さを外した条件は、3戦3勝です。判定文には、本文の語がそのまま出ました。

  • とろけるような脂の甘み
  • 濃厚な旨み
  • 4種の味付き
  • 100gの小分け

本文の語の出現回数

公開ページで、語の出現回数を数えました。

  • 4種: 18
  • 小分け: 34
  • 甘み: 10
  • 旨み: 10
  • プリプリ: 0
  • 臭み: 0（レビュー2件にだけある）

比べ方に「プリプリ食感」や「臭みの少なさ」が出る回があり、他店に「プリプリ食感」で負けた回がありました。本文に無い語の軸で負けている、という見方ができます。

ぶれと誤読

起点の600gが1戦目で、他店に「脂の甘み」で負けた回が2回ありました。同じ本文の1.2kgは、同じ相手に勝っています。本文の差では説明できないので、AIのぶれと見ています。これは推測です。

また、当店の味付き商品を「自由な味付けが可能」と、味なしのように書いた誤読が1回ありました。

判断

結論は、本文は改修しない、です。負けの原因がポイント施策で、文章で変えられるものではないからです。

そのモールのポイント施策の当選期間（10/30〜11/1）に、同じ条件で測り直します。お得さの差が縮むかを見ます。ここも未実施です。

もつ鍋: 勝敗を分けるのは中身より、比較の候補に入るか

対象は、もつ鍋の1セットです。

結果

改修前は 11勝1敗でした。

  • C1: 3勝0敗
  • C2: 3勝0敗
  • C3: 2勝1敗
  • C4: 3勝0敗

比べる相手の大半が、自店の商品でした。量違い、具材違い、味違いです。決勝が自店どうしの回も多くなりました。

お得さは、ポイント最大21〜26倍で、他店は最大12倍でした。判定文には、本文の語が出ます。大粒カット、国産牛使用、プリプリ食感、脂のり、3種スープ、簡単調理です。

唯一の負け

唯一の負けは、他店の1500g・9〜12人前・5種スープでした。量は1.5kg対900g、味の数は5種対3種です。商品の仕様の差なので、文章では変えられません。

判定文に、当店を「和牛もつ」と書いた誤読が1回ありました。実際は国産牛です。

他店ページを起点にした測定

他店ページを起点にして、12回測りました。

  • 当店が候補に入ったのは5回。入った5回は、すべて当店が優勝
  • 他店C起点の4回は、1回も候補に入らず、別の他店が優勝

自店のバリエーション起点の6回は、6勝でした。辛い味の商品を起点にすると、候補は自店の5商品だけになります。

ここから、勝敗を分けるのは中身の良し悪しより、候補に入るかどうかだと見ています。

候補の集まり方

候補は、2つの集まりに分かれて見えます。当店が入る集まりと、入らない集まりです。両方に出る店は1店だけでした。

何が集まりを分けるのかは、未確定です。商品名の系統語、または価格・量の帯、のどちらかではないかと推測していますが、確かめていません。

結論は、本文は改修しない、です。

3商品から言える、商品ページの文章で動くものと動かないもの

3商品の記録から、言える範囲だけをまとめます。

動かなかったもの

  • お得さ。ポイント倍率と量で決まり、文章では動かない
  • 仕様の差。1500g・5種スープのような量と味の数は、文章では変えられない
  • 候補に入るかどうか。何が分けるのかは未確定

文章が効いていると見られるもの

  • 本文の語は、判定文にそのまま引用される。AIは本文を読んでいると見てよい
  • 数字（mm・人前・g）を書いた店が、終盤に勝つ傾向が見られた
  • 比べ方に出る語（プリプリ・臭み等）が本文に無いと、その軸で負けた回があった

測り方について

12回程度の測定では、小さな差はぶれの範囲です。改修の前後は、同じ条件・同じ回数で比べます。

直すときの規則

書く事実は担当者に確認します。測れていない数字（厚さ）は書きません。

反映は、商品の正本（商品台帳）を先に直します。ページだけ直して終わらせないことを、規則にしています。

3商品のうち、本文を直したのは牛たんだけです。ホルモンともつ鍋は、負けの原因が文章の外にあったので直していません。

自動化してよい範囲と、人が判断する範囲

自動化してよい範囲

  • 比較画面の操作と、勝ち残り表・判定文の読み取り
  • 条件ごとの勝敗の記録と集計
  • 公開ページでの語の出現回数の計測（4種 18、プリプリ 0 など）

この3つは、同じ手順で繰り返せて、結果が数字で出ます。

ただし、スクリプトの読み取りが正しいかは、最初に人が確かめます。今回も、判定文の行だけでは優勝を取り違える、という問題は実行してみて分かりました。

人が判断する範囲

  • 何を事実として書くか。厚さのように担当者の回答が揺れる数字は、実測が済むまで書かない
  • 改修するか、しないか。ホルモンともつ鍋は、原因が文章の外にあると見て、改修しない判断をした
  • 1勝の差を、改善とみなすか、ぶれとみなすか
  • 判定文の誤読（「自由な味付けが可能」「和牛もつ」）を、どう扱うか

スクリプトは「本文の語が引用された」までは数えられます。その語を本文に足してよいか、足すべきかは、商品の事実を知っている人にしか決められません。

次に測るもの

未実施の測定は2つです。

  • 牛たん: 定規で厚さを実測し、mmを追記して、同じ条件で測り直す
  • ホルモン: ポイント施策の当選期間（10/30〜11/1）に、同じ条件で測り直す

結果が出たら、同じ形式で記録します。