人工知能、今度は「格闘ゲーム」で人間の達人を上回る

曙光 ★

イスラエルの研究チームが、人工知能に「スーパーマリオ」をはじめスーパーファミコンのさまざまなゲームを学習させた。対戦格闘ゲーム「モータルコンバット」では、AI同士に競わせて学習させることにより、AIは人間の成績を上回ったという。

ゲームは、人工知能（AI）をトレーニングする際の理想的なプラットフォームになる。グーグル傘下のDeepMindが開発するAIシステム「DQN」はすでに、アタリのヴィデオゲーム49本をマスター（日本語版記事）し、その半数以上で人間に匹敵、ときには上回るスコアを記録した。

1984年のアタリのゲーム「Montezuma’s Revenge」については、たった4回の試行で解くことができるまでになっている。

さらにDeepMindは現在、リアルタイムストラテジーの「スタークラフト2」に照準を合わせている。

一方、イスラエルでは、電気工学の学生たちが開発したAIが、「Super Nintendo Entertainment System」（SNES、米国版のスーパーファミコン）の名作ゲームたちに挑んでいる。
チームは、「Retro Learning Environment」（RLE）と名づけたマシンに、強化学習を使って「スーパーマリオ」「F-ZERO」「モータルコンバット」「グラディウスIII」、そしてファーストパーソン・シューティングゲーム「Wolfenstein」をプレイさせた。
ピアレヴューを受けていない掲載前の論文において、ナダヴ・ボンカー、シャイ・ローゼンバーグ、イタイ・ハバラの3人は、自分たちのシステムはさまざまなレヴェルでゲームをプレイすることができたと書いている。
研究チームは、アルゴリズムに「報酬」を与えて、ゲームのクリアを促した。ゲームを可能な限り最善の方法でクリアするように、インセンティヴやスコアを追加したのだ。
「エージェント」と呼ばれるAIプレイヤーは、「スーパーマリオ」ではコインの収集と「敵の踏みつけ」を報酬と見なしていたが、報酬なしでもステージの最後に到達することができたという。
さらに、マリオが「右に移動すること」に対して報酬を与えたところ、より短い時間で「スーパーマリオ」をマスターすることができた。
http://wired.jp/wp-content/uploads/2016/11/8103.png
研究チームは、任天堂SNESのゲーム画面（右側）とアタリ2600向けのゲーム画面（左側）を比較して、SNESゲームの背景は「リッチ」であり、アルゴリズムにとっては適切な信号を区別するのが難題になると説明している。

研究チームによると、「最新アルゴリズムを使ってテストしたSNESのゲーム5本のうち、1本では人間の達人を上回ることができた」という。それは「モータルコンバット」だ。

具体的には、「モータルコンバット」をプレイするAIに、自身を相手にプレイさせることで、AIとAIを対戦させた。これらのAIプレイヤーには同じ性格を与え、フェアな対戦になるようにした。
「アルゴリズムを互いに競い合わせることで、アルゴリズムを比較する簡単な方法をRLEは導いた」と論文には書かれている。このアプローチにより、「モータルコンバット」ではAIが「人間の達人を上回る」ことができたという。

なお、RLEでは、さまざまなゲーム機に対応できることにも意味があると論文では主張されている。「Nintendo Entertainment System、ゲームボーイ、NINTENDO64、Sega Genesis（メガドライブ）、セガサターン、ドリームキャスト、ソニーのプレイステーションといったゲーム機に対応している」とのことだ

http://wired.jp/2016/11/15/ai-play-mortal-kombat/