428 views

74個のモデルの総当たり対戦

現在までに、超パラメータを変えて学習させた全 74個のモデルがある。
どれもランダム指し手の相手に対して勝率 75%以上の猛者（？）たちだ。

どれが一番強いんだろう？
と、ふと気になったので、総当たりで対戦させてみることにした。

対戦ルール

ε=0とする。
すなわち、推論時の探索率を 0 にする。

探索率が 0ということは、Q学習で得られた Neural Networkのパラメータを使って対戦し続けるので、
「状態 → 行動 → 報酬」のロジックにランダム性が入る余地は０
であり、1000回対戦しても 1000回同じ結果になる。

つまり、ε > 0 に設定してランダム性を入れない限り、1000勝0敗 or 0勝1000敗になる。
絶対に 738勝262敗とかにはならない。

対戦結果

出場者数 74人の総当たりなので、
組合せ、すなわち 試合数 = 74 x 73 / 2 = 2701試合

いったい何時間かかるんだろうか・・・
と心配していたが、GeForce RTX 5070ti のパワーを使えば、たったの 1分で全 2701試合が完了した。

恐るべしGPU

星取表

全試合の結果をプログラムで CSVファイル出力させ、それを Excel上で色付けしてみた。
全 2701試合の星取表は、大きすぎて全体を見渡せない・・・

いやぁ、これを 1分でやってしまう 5070tiは本当に凄いわ。
5080, 5090はもっとすごいのか・・・

左上隅を拡大するとこんな感じだ。（勝利数の多い順）

栄えある第一位は、37番目に誕生したモデルで 勝率 78.6% だ。
Hyper parameterの記録が無いので、どんな学習をさせたかの記録が無い。→ 今後制作が進んだらモデルファイルに埋め込む予定

CvR値と対戦順位の比較

前回の投稿 (45)【Othello AI】強化学習でオセロAIを作る。 で記した CvR（勝手に作った指標）は、すべてのモデルを同じ物差しで比較するための指標だ。
CvR 10000 : ランダム指し手の相手と 10000回対戦したときの勝利数。レベルとも呼ぶ。
　→ CvRの値が大きいほど強いはず！

今大会で優勝したモデルは、Lv.8314 と CvR値は第19位と決して高くはない。（CvRの大きい順）

でも、星取表を見ると、上位の強豪たちに対して多くの勝利 〇 を獲得している。

全体的には CvRの大きいモデルが上位寄りにいるが、CvRは絶対的な強さの評価指標にはなり得ない。
∵モデル間の戦術の違いに相性があるから。
だと思う。

こんな次元をはるかに超越した強さを獲得したモデルが、本物の強者なのだろう。

個別の対戦結果

いくつか気になった対戦結果をアニメーションにしてみた。
Python matplotlibと imageioライブラリを使うと、こんなことも簡単に出来てしまう。Pythonすごい！

(1) model#37〇 vs model#68●

今回の優勝モデルである #37 と CvRランキングトップの #68 との対戦だ。
結果は 18対18 の引分け。 前述の通り ε=0 であれば何回やってもこの結果になる。

(2) model#37〇 vs model#18●

今回の優勝モデルである #37 と最下位の #18 との対戦だ。
こちらも結果は 18対18 の引分けだった。

(3) model#37〇 vs model#22●

今回の優勝モデルである #37 と準優勝の #22 との対戦だ。
結果は 21対15 でチャンピオンの勝ち。

(4) model#68〇 vs model#69●

CvRランキング第一位の #68 と第二位の #69 との対戦だ。
結果は 3対22 で #69の勝ち。
しかも、途中でお互いに石を置く場所がなくなり…　（両者パスで試合終了）

vs 人間（私）

今回の優勝モデルがどれだけ強いのだろうか？
私が人間代表として対戦してみた。

結果は・・・

思わず
「なんじゃこりゃ・・・」
と声が出てしまった。

弱い、弱すぎる・・・

まだまだ強化が必要です。

所感

・今日までの CvR最高値は 8855 であり、目標の CvR 9500 に少しだけ近づいた。
　でも、ここからの +645 はとてもしんどい上り道だ。

・なかなか面白いが、壁にぶち当たっている気がする。
　Break throughするためには何が必要か？
　ネット上を徘徊して先人のお知恵を拝借したい。

・高速な GPU実行環境を使えるのだから 6×6ではなく正式な 8×8盤面 で学習させてみようかとも思う。
　でも…
　目的は「私（人間）の学習」なので、試せる回数が多い 6×6のまま制作を進めよう。

残課題

投稿後に気づいたのだが…
先攻、後攻を変えると勝敗が変わるケースがある！

当然と言えば当然だが、
ランキング集計時には両方の結果を使う必要がある。

後日やり直そう…
試合数は 2701 x 2 = 5402試合
になるが、GeForce RTX 5070ti が2分以内に実行してくれるはず。

---