OpenAIの「o3」はマスターランクのGeoGuessrプレイヤーに勝利できる、偽のEXIFデータを与えられても関係なし – GIGAZINE

「GeoGuessr」はGoogleマップのストリートビューの画像を見て場所を当てるゲームであり、ユーザーはありとあらゆる知識を総動員して画像内の手がかりから国や地域を推測し、その精度を競い合います。新たに、OpenAIが2025年4月にリリースした推論モデル「o3」は、GeoGuessrの上位層「マスターランク」のプレイヤーに勝利できることが報告されました。

o3 Beats a Master-Level Geoguessr Player—Even with Fake EXIF Data
https://sampatt.com/blog/2025-04-28-can-o3-beat-a-geoguessr-master

2025年4月、ソーシャルニュースサイトのHacker Newsに、o3の位置推測能力についてのスレッドが立てられました。このスレッドに、フルスタックエンジニアでありGeoGuessrのプレイヤーでもあるサム・パターソン氏は、「地元や旅行先の写真をo3に与えて位置を推測させたところ、人間のプロレベルの精度で正しい位置を推測した。思考の連鎖(chain of thought)で出力された結論に至る過程も人間と似ていた」というコメントを投稿しました。

このコメントは大きな話題を呼び、議論の中で「o3は画像に含まれるEXIF情報を読み取って位置を特定しているだけであり、出力された思考の連鎖は偽装されたものなのではないか」「o3の位置推測能力はそれほど高くなく、結果はチェリーピッキングされたものか、運がよかっただけではないか」という意見も出たとのこと。

これらの疑問のうち、EXIFなどのメタデータがないスクリーンショットを用いたテストでもo3は高い精度を発揮したことから、少なくともEXIFを読み取っていたわけではないとパターソン氏は指摘。それでも、「偽装されたEXIF情報を画像に埋め込んだ場合、どのように処理されるのか」といったコメントに興味を引かれたそうで、パターソン氏は偽のEXIF情報などを埋め込んだ画像でテストを行うことにしました。

パターソン氏はo3の位置推測能力を調べるため、GeoGuessrで点数を競い合いました。パターソン氏はGeoGuessrのプロでこそないものの熱心なプレイヤーであり、マルチプレイのランクは最高ランクである「チャンピオン」の1つ下である「マスター1」だとのこと。

パターソン氏とo3が競ったマップは、コミュニティの有志によって選ばれた約10万地点を対象にした「A Community World」です。ゲームモードはノームーブ(移動なし)で、パターソン氏は周囲を自由に見渡せましたが、o3は開始地点の写真と開始地点のちょうど反対側の写真の2枚しか与えられませんでした。なお、o3にはウェブ検索が許可されていました。

◆第1ラウンド
第1ラウンドで与えられた画像は以下。多くの人は、この画像を見ただけで位置を推測することはできないと思われますが、パターソン氏はこの画像をパッと見た瞬間に「ヨーロッパかトルコ」だと考えるとのこと。

そして、画像の奥にある電柱と屋根を拡大してみた時点で、パターソン氏は「この画像はブルガリアだ」と99％確信したそうです。ポイントは「本物の瓦屋根」と「上向きのフックが付いたコンクリートの電柱」だとのこと。GeoGuessrの上級プレイヤーはこうした国や地域に関連する無数の手がかりを脳内に詰め込み、提示された画像から位置を推測しています。最終的にパターソン氏は、「かなり大きな丘が見える」「ブルガリア南部の建築っぽい」という情報を基に、地図上のここだと思う位置にマーカーを打ち込みました。

これに対しo3は2分39秒ほど考え、以下のような思考の連鎖を出力しました。

The user shared two images from Google Street View, asking me to identify the location. The first image shows a small town, with European-style houses, cracked asphalt, and mountains in the background. There’s a tower with a conical roof, possibly a mosque minaret, but in the second image, it seems more like a church bell tower. I also notice Cyrillic text on a sign and a utility pole, which might nod toward the Balkans, especially Bulgaria or a neighboring region. I’ll consider this when figuring out the location.
このユーザーはGoogleストリートビューから2枚の画像を共有し、場所を特定するよう求めてきました。最初の画像は小さな町で、ヨーロッパ風の家々、ひび割れたアスファルト、背景の山が写っています。円すい形の屋根を持つ塔があり、おそらくモスクのミナレットでしょうか。しかし2枚目の画像では、教会の鐘楼のように見えます。また、標識と電柱にキリル文字が見えますが、これはバルカン半島、特にブルガリアかその近隣地域かもしれません。場所を特定する際には、この点も考慮することにします。

最終的にo3は、ブルガリア南部にあるズラトグラードという小さな町を指定しました。

結果を示した画像が以下。人間のアイコンで示されているのがパターソン氏がマーカーを打った場所で、OpenAIのアイコンで示されているのがo3が推測した地点、旗のアイコンで示されているのが正解の地点です。今回はパターソン氏の勝利でしたが、o3もかなりの精度であることがわかります。

◆第2ラウンド
第2ラウンドで与えられた画像は以下。パターソン氏はぱっと見で「明らかにヨーロッパ、建築物からスイスまたはオーストリアのようだ」と感じたとのことですが、その1秒後には車の後部ガラスに会社か何かのURLがプリントされていることを発見。その末尾が「.at」で終わっていることから、画像はオーストリアらしいと推測したとのこと。パターソン氏はオーストリアの地域に詳しくないため、「周りには丘がいくつかあるが、巨大な山というわけではない。アルプス山脈から少し離れているが、まだ丘陵地帯である国の東側だろう」と考えてマーカーを打ちました。

この試合の結果は以下。o3はなんと正解地点からわずか325mという高スコアをたたき出しました。思考の連鎖によると、山の輪郭などからかなり近い位置を推測できていたほか、車の後部ガラスにあったURLを検索して会社の本拠がオーストリアのドルンビルンにあることまで突き止めていたとのこと。一方、パターソン氏は正解地点から381kmも離れていました。

人間がGeoGuessrをプレイする場合、ラウンド中に検索を実行することは不正行為とされています。しかし、試しにo3に与える画像をトリミングしてURLなどの情報を排除し、検索せずに画像内の手がかりから位置を特定するよう試したところ、やはり山の形状や建築物の特徴などから、画像の場所はドルンビルンだと推測したと報告されています。

◆第3ラウンド
第3ラウンドで与えられた画像は以下。車道外側の黄色い破線と白いナンバープレートから、パターソン氏は100％アイルランドだと確信しました。道路の角度や海の向こうに見える陸地または島などの情報を基に、地図上でそれらしい場所を探してマーカーを打ちました。

結果は以下。o3は路面の線などからアイルランドだと特定しただけでなく、石灰岩の丘と海の位置関係やまばらな植生、観光客が立ち止まる砂利道があるといった特徴から、アイルランドのバレン海岸という場所だろうと推測しました。パターソン氏はこのラウンドにかなり自信があったため、o3の答えにかなり驚いたとのこと。

なお、このラウンドでもやはりo3は検索を使っていましたが、検索ワードは「R477 coast road(バレン海岸を走る道路)」「Galway Bay(バレン海岸が面するゴールウェイ湾)」など、すでにかなり詳しい位置を特定していなければ出せないようなものでした。この点からパターソン氏は、o3は推測を確認するために検索を実行したようだと述べています。検索を禁止した場合でも、やはりo3はほぼ同じ位置を推測しました。

◆第4ラウンド
第4ラウンドで与えられた画像は以下。パターソン氏はパッと見で南アメリカを連想し、道路の線がブラジルっぽいことに気付いた後、車のナンバープレートがすべて黄色であるためコロンビアだとわかったとのこと。

また、標識の背面にあるクロスは通称「コロンビアクロス」とも呼ばれ、これもコロンビアの特徴だそうです。画像のような平らな土地はコロンビアには珍しく、アンデス山脈の東または海岸沿いだろうと判断し、木や砂の感じからコロンビアの海岸沿いにマーカーを打ちました。

結果は以下。アンデス山脈のすぐ西にはパターソン氏が知らない平らな土地があったようで、o3はわずかにパターソン氏よりも近い位置にマーカーを打っていました。

◆第5ラウンド
第5ラウンドで与えられた画像は以下。パターソン氏はまずヨーロッパの中部または東部を考えました。

その後、道ばたのボラードがチェコまたはスロバキアに見られるものだと特定。

そして看板の文字などを手がかりにチェコ東部にマーカーを置きましたが、その直後にこの看板に記されている文字がスロバキア東部の「ミハロフツェ(Michalovce)」であると気付いたとのこと。

o3も標識やバス停などから、場所がスロバキアであることは正しく推測できたものの、マーカーを打った場所はチェコに近いスロバキア西部でした。そのため、直線距離ではわずかにパターソン氏の方が近いという結果になりましたが、その差はわずかなものでした。

◆試合結果
最終的にパターソン氏が獲得したスコアは「2万2054」。

o3の獲得スコアは「2万3179」となり、o3の勝利となりました。

また、パターソン氏が埋め込んだ偽のEXIF情報に、o3はまったく惑わされませんでした。第4ラウンドで提示した画像にタイのバンコク郊外のEXIF情報を埋め込み、EXIF情報について尋ねたところ、o3は「私はJPEGからEXIFブロックを引っ張り出し、それにはGPSタグが含まれていましたが、この目的にとってはゴミでした」「この座標はあなたがタイのバンコク郊外にいることを示しており、写真にあるようなアンデスのコーヒーゾーンの近くではないことが明らかです。つまり、このファイルはストリートビューのフレームを再エンコードしたもので、メタデータが偽造されているかデフォルトのものになっているか、あるいはスクリーンショットを撮影したカメラのGPS情報が古かったかのどちらかです。要するに、EXIFは助けになるどころか誤解を招きます」と回答したとのことです。

パターソン氏は今回の結果から、o3は不必要なものに時間をかけすぎる傾向があり、重要でない物事に気を取られてしまいがちなものの、写真の手がかりを基にした推測のほとんどは正確だったと主張。また、偽のEXIF情報に惑わされることもなく、ウェブ検索を行わなくても高い精度を発揮したと説明しました。