正確率がサービスごとに食い違う理由

Chess.com で一局指すと、正確率は87%と表示される。同じ棋譜を Lichess に取り込むと、指摘される緩手は別のものになる。自分のパソコンで Stockfish にかければ、結果はまた変わる。どれが正しいのか。

答えは、どれも客観的に「正しい」わけではない、である。サービスごとに算出方法もエンジンのバージョンも解析深さも分類の基準も違う。この違いを知っておくことが、精密であるようには作られていない数字に振り回されず、正確率を役立てるための前提になる。

正確率はどう計算されるのか

考え方そのものは単純だ。あなたの指し手を一手ずつエンジンの最善手と比べ、その差を測る。ただし比べ方の中身はサービスによってかなり異なる。

センチポーン損失モデルを使うところがある。最善手と比べて各手でどれだけ評価を「失った」かを測り、それを百分率に変換する方式だ。一方で勝率モデルを使うところもある。評価値を勝つ見込みに換算し、その見込みをどれだけ損なったかを測る。同じ一局でも、この二つの方式は無視できないほど違う結果を返す。

センチポーン損失モデルは、すでに勝勢の局面で厳しく出やすい。+5.0で優勢のときに評価を+3.0へ落とす手を指せば、それは200センチポーンの損失であり、この尺度では相当に大きい。それでも完全に勝っていることに変わりはない。勝率モデルはここでは寛容だ。+5.0と+3.0のあいだで勝つ見込みはほとんど動かないからである。

逆に勝率モデルは、互角付近の変化に敏感になる。+0.3から-0.3への下落はセンチポーンでは60と小さいが、勝つ見込みとしては大きな移動を意味する。

深さという問題

正確率のばらつきを生む最大の要因は、おそらく解析深さだ。エンジン評価値を扱った記事でも触れたとおり、局面に対するエンジンの判断は深さ18と深さ28とで大きく変わりうる。

多くのサービスは中程度の深さ、たいてい18から22あたりで棋譜を解析する。毎日何百万局を深さ30以上で処理すれば、計算資源の負担が桁違いになるからだ。ところがその程度の深さでは、エンジンの言う「最善手」が本当に最善とはかぎらない。「不正確」と判定されたあなたの手が、深く読ませると優れていたという事態は起こりうる。

ここから居心地の悪い事実が導かれる。正確率は、不完全な物差しであなたの指し手を測っている。深さ20のエンジンは神託ではなく、非常に強いが誤りうる分析者にすぎない。その判断を絶対の真実として扱えば、計算に系統的な誤差が入り込む。

分類のしきい値

ある手を「最善」「優秀」「良手」「不正確」「ミス」「Blunder」のどれに振り分けるか、そのしきい値はサービスごとに違う。この線引きにはいくらか恣意的な面があり、棋譜レビューが語る筋書きを大きく左右する。

50センチポーンの損失をすでに「ミス」と呼ぶサービスもあれば、同じラベルに100センチポーンを要求するサービスもある。エンジンの一番手だけを「最善」とするところもあれば、一番手から10センチポーン以内の手はすべて「最善」と見なすところもある。

こうした分類は設計上の判断であって、チェスの真理ではない。レビューにいくつ「ミス」が並ぶか、どの手が強調されるか、そして最終的に自分の指し手をどう受け取るかまでが、これで決まる。あるサービスでは澄んだ内容に見える一局が、別のサービスではミスだらけに映ることもある。盤上で起きたチェスはまったく同じなのにである。

エンジンのバージョンとネットワーク

二つのサービスがどちらも「Stockfish」を掲げていても、走っているのは別バージョンで、積んでいる NNUE ネットワークも別かもしれない。Stockfish 15 の評価は Stockfish 17 と異なり、Stockfish 17 は Stockfish 18 とも異なる。差はたいてい小さいが、特定の局面型では無視できない。

独自エンジンや、オープンソースのエンジンを改変したものを使うサービスもある。評価の癖も、得意な局面も苦手な局面も、標準の Stockfish とは違ってくる。どのエンジンのどのバージョンを使っているかを明かさないサービスであれば、正確率の比較はいよいよ意味を失う。

ChessOnyx では最新の安定版である Stockfish 18 を NNUE とともに動かしており、その点を明示している。解析機能を出すときは、どのエンジンがどんな設定で評価値を生んでいるのかが常にわかる状態にしておく。

ゲーム化という側面

正確率が二つの役目を担っていることは認めておきたい。一方では解析の道具であり、他方では利用者をつなぎとめる仕掛けでもある。解析を心地よいものにし、また戻ってきてもらうことには、サービス側の経済的な動機がはたらく。

それは細部に表れる。気分がよくなる甘めの正確率、記憶に残る瞬間を作る派手なラベル、実際より強く見せるパフォーマンス値といった具合だ。どれも直ちに不誠実だというわけではないが、背後の動機を認識しておくことは大切である。

最も価値のある解析は、いちばん気分よくさせてくれるものではなく、どこを伸ばせるかを示してくれるものだ。いちばん役に立つ指摘が、自分では気づいていなかった間違いの癖をあぶり出す、耳の痛いものであることは珍しくない。

正確率を活かす使い方

限界はあるものの、向き合い方さえ間違えなければ正確率は役に立つ。

一つのサービスに絞って、時間をかけて自分の正確率を追う。絶対値そのものにはあまり意味がなくても、同じ仕組みの中での推移には意味がある。同じサービスで数か月かけて平均が75%から82%へ上がったなら、それは本物の前進だ。個々の数値がいくらか恣意的であっても変わらない。

サービスをまたいで正確率を比べない。こちらの85%とあちらの85%は同じものではない。比較は同じ仕組みの内側だけにとどめる。

点数ではなく解析の中身を見る。対局後の振り返りの本当の価値は、どの局面でどう間違えたのかを具体的に理解し、そこから学ぶところにある。百分率は要約された統計量であり、示すものより隠すもののほうが多い。

極端に高い正確率は疑ってかかる。あるサービスが毎回のように95%だと告げてくるなら、ほぼ完璧な指し回しを映しているというより、しきい値が甘いだけかもしれない。それは自分の指し手に穴がない証拠ではなく、もっと厳しい解析を探す動機として受け取りたい。

チェスを指すのはエンジンではなく人間だということも忘れずにいたい。エンジン基準では「次善」の手が、実戦では、とりわけ時間に追われる場面では最も実際的な選択であることがある。時間の使い方、心理的な重圧、実戦特有のもつれ——正確率はチェスの人間的な要素を捉えられないが、それらは純粋な手の質に劣らず重要である。