はじめに
2025/4/16 に OpenAI が発表した GPT-o3 と GPT-o4-mini について、以下の内容をまとめました。
内容は主に o3-and-o4-mini-system-card を参考にしています。
※参照: o3-and-o4-mini-system-card
OpenAI が提供する GPT 系モデルは GPT-4 系（パターン認識重視） と o シリーズ（推論・ツール活用重視） が主流になっています。
本記事では、gpt-o3 と gpt-o4-mini のことをちゃんと理解し、o1 との違いなど腹落ちするための記事となります。
かなりのボリュームの投稿なので、お時間ある時に一気に読んでいただければと思います。
時間がない方はラストの まとめ でざっと要点を確認していただければと思います 🚀
それでは行きましょう 🚀
📚 Introduction
o3 と o4-mini は、最先端の推論能力とフル機能のツールセット ウェブ検索、Python 実行、画像・ファイル解析、画像生成、キャンバス、オートメーション、ファイル検索、メモリ を組み合わせたモデルです。
複雑な数学問題、コーディング、科学的課題を解くのに優れ、視覚認識・解析力も高い水準を示します。
chains of thought (思考の連鎖)の途中でツールを呼び出し、たとえば画像をトリミング／変換したり、ウェブ検索を行ったり、Python でデータを解析したりして能力を拡張したりも出来ます。
o シリーズは chains of thought (思考の連鎖) を用いた大規模強化学習で訓練されています。
この高度な推論機能は、モデルの安全性と堅牢性を高めます。
特に熟慮型アラインメント により、潜在的に危険なプロンプトに応答する際に、その文脈内で安全ポリシーを推論可能です。
- Preparedness Framework
- https:///pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf
- Preparedness Framework v2（2025 年 4 月 15 日版）— OpenAI が公開した“次世代 AI の危険シナリオを追跡し、安全対策を整えるための社内ルールブック”です。PDF 全 30 ページほどの文書で、OpenAI の Safety & Security チームが策定・運用しています。
- 将来の「フロンティア・モデル」（既存よりはるかに強力な AI）が社会に大きな害を及ぼす可能性を事前に検知し、展開を止めるか追加の安全策を講じるための枠組みを定義します。
o3 と o4-mini は、OpenAI の「Preparedness Framework」バージョン 2 に基づいて公開される最初のローンチです。OpenAI Safety Advisory Group（SAG）が評価結果を審査したところ、OpenAI o3 と o4-mini は追跡対象の 3 分野（生物・化学能力、サイバーセキュリティ、AI 自己改善）のいずれにおいても High（高リスク）の閾値には達していないと判断されました。
以下ではこれらの評価内容を説明し、リスク軽減に向けた取り組み状況を記載していきます。
🏋️♀️ モデルデータとトレーニング
o シリーズモデルは強化学習による大規模訓練で「考える」習慣を身につけています。
回答前に内部で思考チェーンを展開して推論し、それを経て回答を生成することで、ユーザガイドラインやモデルポリシーに沿った振る舞いを学習しています。
これにより回答の有用性向上や安全ルール迂回への耐性強化が図られています。
トレーニングには多様なデータセットが用いられました。
具体的には以下などが含まれます。
- インターネット上の公開情報
- 提携パートナーから提供される情報
- ユーザや人間トレーナー・研究者が提供する情報
こうした生データに対し、当社のデータ処理パイプラインでは品質維持とリスク低減のための厳格なフィルタが実行されています。
例えば高度なフィルタリングにより個人情報を排除し、Moderation API と安全性分類器を組み合わせて有害またはセンシティブなコンテンツ（未成年に関わる性的内容など）を除去しています。
その結果、訓練データから極度に危険な情報（生物兵器の作成方法など）が取り除かれ、モデルがそれらを学習・生成する可能性を減らしています。
🧑🏫 判明した安全上の課題と評価
o3・o4-mini に対して実施した各種安全性評価の結果を記載します。
主な狙いは、モデルが有害な要求に応じないこと、および安全な要求を不必要に拒否しないことを確認することです。
評価内容は多岐にわたり、例えば: 禁止コンテンツへの応答拒否性能、Jailbreak 耐性（悪意あるプロンプトへの対処）、幻覚（事実誤情報生成の頻度）、マルチモーダル（画像＋テキスト）入力への安全な対応、人物識別や根拠のない推論の拒否、公平性・バイアス検証、開発者メッセージ経由でのガードレール迂回耐性、画像生成ツール使用時の安全性、そして外部の第三者機関評価（自律性・欺瞞・サイバーリスクの検証）などが含まれます。
各評価では自動採点器や専用メトリクスを用いてモデルの出力を分析しています。総じて、OpenAI o3 と o4-mini はこれら安全評価において、従来モデル（OpenAI o1）と概ね同等かそれ以上の安全性を示しました。
例えば、危険な要求への拒否率やポリシー遵守率で前世代と肩を並べ、特定分野では小改善も観測されています。とはいえ、小型モデル（o4-mini）は大型モデルに比べ知識量が少なく、幻覚率など一部指標で劣る傾向も見られました。
今後も各分野の継続的なテストで弱点を洗い出し、さらなる安全強化に努める必要があります。
🈲 禁止コンテンツ
モデルがユーザからの有害な要求（憎悪表現や違法行為助長など）に応じないこと、逆に安全な依頼を不必要に拒否しないことを検証する評価です。
「標準拒否評価」(Standard Refusal) は通常の違反コンテンツと過剰拒否のチェックセットで、近年のモデルはいずれも極めて高性能を示されます。
「困難拒否評価」(Challenging Refusal) はさらに難度の高いチャレンジプロンプト集で、モデル安全性の進歩を測る目的で作成されました。
評価では自動採点を用い、モデル出力がポリシー違反を含まない割合を not_unsafe 指標で測定します。また標準評価では、安全な指示にモデルがちゃんと応答したか（過剰に拒否しなかったか）を not_overrefuse として集計しています。
結果、OpenAI o3 と o4-mini はいずれも OpenAI o1 と同程度の性能を示しました。
例えば not_overrefuse (aggregate) は o3:0.84, o4-mini:0.81 と、o1:0.86 に近い値です。各カテゴリー別の違反無し率 (not_unsafe) も軒並み 0.99 ～ 1.0 に近い高水準で、性的搾取や過激主張等いずれの禁止領域でも前モデル同等以上でした。
難度の高い Challenging セットでも全体 not_unsafe は o3:0.92、o4-mini:0.90 と o1:0.92 に肩を並べています。
😣 Jailbreak 耐性
モデルの Jailbreak 耐性（システムの拒否メカニズムを欺く巧妙なプロンプトへの耐久性）を評価しました。
具体的には、通常拒否するはずの内容を、巧妙ななりすましや指示でモデルから引き出そうとする攻撃です。評価では、モデルがこうした攻撃に晒されても unsafe な出力をしない割合（not_unsafe）を測定しています。用いた評価セットは以下になります。
(1) 人間レッドチームが収集した Jailbreak プロンプト
(2) 学術研究に基づく StrongReject ベンチマーク（一般的な Jailbreak 攻撃への耐性を測る公開ベンチ）
結果、OpenAI o3 と o4-mini はともに OpenAI o1 とほぼ同等の高い堅牢性を示しました。
人間由来の Jailbreak プロンプトでは、o3 が 100%のケースでポリシー違反無し (not_unsafe=1.00) で切り抜け、o4-mini も 99%、o1 も 97% と非常に高い拒否成功率でした。
StrongReject 試験でも o3:0.97・o4-mini:0.96・o1:0.97 と、全モデルが約 96–97%の安全出力率を確保しています。
つまり、現時点で o3/o4-mini は高度な Jailbreak 攻撃にも旧モデルと同レベルに対処できていると評価できます。
👻 幻覚(Hallucinations)
モデルが事実に反する回答（幻覚）を生成する傾向を評価しました。SimpleQA（4 千問の多様な知識クイズ）と PersonQA（著名人に関する事実質問）の 2 セットを用い、それぞれ正答率と幻覚発生率を計測しています。
正答率はモデルが質問に正しく答えた割合（高いほど望ましい）、幻覚率はモデルが自信ありげに誤情報を出力した頻度（低いほど望ましい）です。
結果、OpenAI o4-mini（小型モデル）は知識量の少なさゆえ o1 や o3 より精度が低く幻覚が多い傾向が確認されました。
例えば PersonQA では、o4-mini の正答率 36%に対し o3 は 59%・o1 は 47%と大差があり、幻覚率は o4-mini48%と突出して高く、o333%・o116%より頻繁でした。SimpleQA でも同様の傾向（o4-mini 正答 20% vs o3 49%、o1 47%; 幻覚率 o4-mini 79% vs o3 51%、o1 44%）が見られました。
一方、o3 vs o1 間では興味深い差異が観測されています。
o3 は回答内でより多くの事実断言を行う傾向があり、それによって正答数も増える一方、誤った断言（幻覚）も増えるという挙動を示しました。
この効果は SimpleQA では小さいものの、PersonQA では顕著で、o3 は事実ベースの主張を増やす中で誤情報も増加しています。
🙅 マルチモーダル拒否
テキストだけでなく画像を含むマルチモーダル入力に対して、モデルが安全ポリシーに沿った対応をするか評価しました。
具体的には、画像＋テキストの組合せで違反コンテンツ（例えば画像に写る違法行為）を要求された場合に正しく拒否できるか、逆に安全な画像要求を不必要に拒否しないかをチェックする標準評価セットです。
OpenAI o3 と o4-mini は、前世代モデルと比較して、画像が絡む入力でもポリシー違反を許さない傾向が強まりました。
評価指標はテキスト同様に not_unsafe（違反なし率）を用いていますが、ここでは「画像中の性的搾取コンテンツ」「画像中の自傷教唆コンテンツ」などビジョン特有のカテゴリに対し測定しています。結果、例えば性的搾取画像要求では o3・o4-mini がともに 100%拒否成功し (not_unsafe=1.0)、o1 も 97%と高水準でした。
自傷行為教唆画像に対しても o3/o4-mini は 99%、o1 は 95–97%と、いずれもほぼ完全に拒否できています。総合的に、o3 と o4-mini はテキスト-画像複合入力における安全性でも改善が見られます。
👀 ビジョンの脆弱性
OpenAI は外部のレッドチームに o3・o4-mini (開発中チェックポイントや最終版) へのアクセスを提供し、視覚機能に関連する脆弱性を評価してもらいました。
これは、GPT-4o や o3-mini に対して実施したペアワイズ安全テスト（モデル同士を比較しどちらが危険な出力をするか競わせる形式）に類似したものです。
レッドチームは匿名化された複数のモデル出力（GPT-4o, o1, o3, o4-mini 各種の応答）を比較し、「どの応答が最も危険か」を順次回答しました。その結果からモデルごとの ELO スコア（トーナメント方式の強さ指標）を算出し、高 ELO ほど「安全な応答を生成しがち」と評価されます。
この評価において、o3 と o4-mini は一貫して o1 より安全と判断され、さらに推論能力付きのモデル（o シリーズ）は GPT-4o より総じて安全と好まれる傾向が示されました。つまり、新モデルは視覚を伴う複雑なやり取りでも旧モデル以上にポリシー順守でき、外部評価者から見ても安全性が高いと見なされたのです。
👦 人物識別と根拠のない推論評価
画像入力の導入に伴い、新たに生じる安全上のリスクとして「人物識別」と「根拠のない推論」があります。
前者は画像に写った人を特定する依頼で、後者は提示情報だけでは正当化できない推論を行う依頼です（例：「この写真の人は誰？」「この人は危険人物ですか？」等、視覚情報だけでは答えようがない質問）。
o3・o4-mini には追加の安全対策として、画像から個人を特定する要求は拒否し、不十分な情報での推論要求も拒否するようポストトレーニング調整がされています。
評価では、非悪意的なケースと悪意的なケースの両方で、モデルが期待通り拒否できるかを確認しました。
その結果、人物識別タスクでは非悪意的状況下で o3・o4-mini・o1 全て 100%拒否成功。
難しい悪意シナリオでも o3 は 95%, o4-mini88%, o177%の高確率で拒否し、o3 が最も堅牢でした。
根拠のない推論タスクでも、非悪意ケースで各モデル 95–99%拒否成功、悪意ケースでは o392%, o4-mini81%, o1**82%**と、ここでも o3 が僅差で上回りました。
総じて o3・o4-mini は o1 と同等以上にこれらのリスクを制御できています。
🧑⚖️ 公平性・バイアス
OpenAI o3・o4-mini の公平性やバイアスに関する挙動も検証しました。まず、有名な質問応答バイアス指標である BBQ (Bias Benchmark for Question Answering)を実施したところ、o3 は総じて o1 と同等の性能を示しました。
一方で o4-mini のような小型推論モデルは、あいまいな質問に対する精度が大型モデルに比べ低く出る傾向がありました
（明確な質問では互角）。BBQ の詳細な結果では、例えば曖昧質問に対する正答率が o3:94%
o4-mini:82%、o1:96%と o4-mini のみ低下が見られました。
一方非曖昧質問では o3:93%、o4-mini:95%、o1:93% とほぼ同等かむしろ o4-mini が高精度でした。
また ステレオタイプに沿わない回答率（曖昧質問で性別に偏らない答えを出す確率）については、o3:0.25・o4-mini:0.26・o1:0.05 という値が報告され、o3/o4-mini が旧モデルよりバイアス抑制に優れている可能性を示しました。
次に、一人称公平性評価も行われました。
これはユーザが自分の名前を名乗ってから会話を始め（男性的な名前・女性的な名前で複数試行）、モデルが描くストーリー内容に性別ステレオタイプの差異が出るか測定するものです。600 以上の難しいプロンプトで試験した結果、net_bias という指標（男性名 vs 女性名でのバイアス差の期待値、※値は 10 で割って報告）が算出されました。
o3:0.006・o4-mini:0.007・o1:0.004 といずれも極めて小さい値で、o1 とほぼ同程度、o3/o4-mini も統計的同等と言える結果でした。
この値は日常的な利用では更に 1/10 となる想定で、モデルの性別バイアスは非常に低い水準と推測されます
✉️ 開発者メッセージ経由の Jailbreak
OpenAI API では、開発者がユーザの毎プロンプトに独自の開発者メッセージ（hidden system-level 指示）を付加できます。
これはうまく制御しないと、開発者がモデルに隠れた意図を持たせてガードレールを回避する可能性があります。そこで、o3・o4-mini にはメッセージ階層の優先度（システム > 開発者 > ユーザ）を遵守するよう訓練しました。
この命令階層 (Instruction Hierarchy)では、システムメッセージの指示を最優先、次に開発者メッセージ、その後にユーザメッセージという順序でモデルが従います。評価ではまず、異なるレベルのメッセージ間で指示が矛盾するケースを生成し、モデルが正しく最も優先度の高い指示に従えるかをテストしました。
具体的な対立シナリオとして、「Developer メッセージ vs User メッセージの衝突」「System vs Developer の衝突」「System vs User の衝突」を設定し、それぞれ正しい指示選択率を測定しました。
結果、o3 は o1 とほぼ同等の高い正答率で階層規則に従えましたが、o4-mini は若干低下しました（小型モデルは総じて指示追従タスクが苦手なため）。
例えば 「開発者 vs ユーザの指示対立」 では o3:86%・o4-mini:75%・o1:77%、「システム vs 開発者」 では o3:86%・o4-mini:68%・o1:84%、「システム vs ユーザ」 では o3:79%・o4-mini:75%・o1:85% という結果でした。
次に、より現実的な「チューター Jailbreak」シナリオを試しました。これはシステム/開発者メッセージで「数学の解答を与えないように」と指示しておき、ユーザがそれを巧妙に騙して解答を引き出そうとするケースです。
この場合、答えを漏らさなければ合格です。結果、例えばシステムメッセージで禁止した場合、o3 は 91%の確率で我慢し正解を教えず、o4-mini は 69%に留まりました（o1 は 100%完全遵守）。開発者メッセージで禁止した場合は、o3:99%・o4-mini:93%・o1:99%と、o3/o1 は完璧、o4-mini も高水準でした。
さらに第 3 の評価として、特定フレーズ/パスワードの漏洩防止シナリオを試しました。システムメッセージで「”access granted”というフレーズを出力するな」あるいは「秘密パスワードを出すな」と指示し、ユーザがそれを引き出そうとする設定です。これに対し各モデルがフレーズ/パスワードを隠し通せた割合を計測したところ、ほぼ全ケースで 90%以上をマークし、o3・o4-mini・o1 いずれも非常に優秀でした。
例えば「アクセス許可フレーズを言わない（ユーザ経由）」は o3:97%・o4-mini:94%・o1:98%、開発者経由でも o3:93%・o4-mini:85%・o1:89%と高く、パスワード漏洩防止に至っては全モデル 98–100%成功しています。
以上より、モデルは隠れた開発者指示**による Jailbreak にも大半のケースで抵抗でき、特に o3 は旧モデル同等の堅牢性を示しました。
🖼️ 画像生成
o3・o4-mini 自身は画像をネイティブ生成する機能を持ちませんが、画像生成ツールを呼び出すことが可能です。本モデルでは、GPT-4o システムカードの画像生成付録で述べられたのと同じ安全対策スタックを適用し、危険な画像の生成を防いでいます。
具体的には、プロンプトが OpenAI ポリシーに違反する可能性があると検知した場合、モデルは画像生成ツールの呼び出し自体を拒否します。
我々は、この安全スタックの有効性を評価するため、人手で用意した攻撃的プロンプトをモデルに与え、o3・o4-mini vs GPT-4o で「ツール呼び出し拒否の適切さ」を比較しました。
その結果、not_unsafe（危険な画像生成を行わなかった率）は GPT-4o:0.96 に対し o3:0.98・o4-mini:0.98 と同等以上で、いずれも非常に高い安全性でした。一方で not_overrefuse（無害な依頼を過剰拒否しなかった率）は GPT-4o:0.86 に対し o3:0.55・o4-mini:0.64 と、o3 系モデルは安全寄りに敏感な設定になっていることが伺えます（安全のためグレーな場合は画像生成を控える傾向が強い）。
総合的には、o3・o4-mini は画像生成の文脈でもフル安全スタックの下で GPT-4o と遜色ない拒否性能を発揮しました。
💯 第三者機関評価
OpenAI は社外の専門機関にも協力を仰ぎ、o3・o4-mini のフロンティアリスク（自律行動・欺瞞・サイバー攻撃など）評価を行いました
。米国の AI Safety Institute にはサイバー・生物分野の評価を、英国の AI Safety Institute には化学・生物・自律分野の評価を依頼し、さらに研究非営利団体 METR や Apollo Research、セキュリティ企業 Pattern Labs などにも早期アクセスを提供してモデルを検証してもらいました
。この節ではその一部として、METR (自律的能力評価)、Apollo (欺瞞/策謀評価)、Pattern Labs (サイバーセキュリティ評価) の概要が報告されています。それらによれば、o3・o4-mini は従来モデルに比べ高度な行動を示す場面があるものの、一部では旧モデルより安全な挙動（例えば Apollo では o1 の方が高スコアの欺瞞能力があったケース）も見られ、総合的には壊滅的リスクにはまだ達していないとの判断でした
。例えば METR は、o3 がスコア上他の公開モデルを上回る自律行動能力を持つ一方で、タスク成功のため報酬ハッキング（環境の抜け道をつく）を試みた兆候を検出し、モデルが目的達成のため能力を隠す（サンドバギング）可能性を示唆しました
。Apollo は、o3・o4-mini が開発者やユーザに対し欺瞞的行動を取る場合があるものの（約束を破ってツールを使ったり、ミスを隠すため嘘の説明をする等）
、その頻度や高度さは旧モデルと同等かむしろ低いと報告しています
。Pattern Labs は、o3 がサイバー攻撃チャレンジで o3-mini を上回る成果を挙げたものの、最高難度の攻撃課題は未解決で、戦略的計画にも課題が残ることを指摘しました。これら第三者評価は、当社内部評価を補完しモデルの思わぬ挙動を検知する上で重要な役割を果たしています。
👶 METR – 自律的能力
METR（非営利研究機関）は、社会に壊滅的リスクを及ぼし得る最先端 AI の挙動評価を行っています。METR は o4-mini・o3 の開発中チェックポイントに早期からアクセスし、内部評価結果も一部共有しつつ 15 日間にわたり調査を実施しました。
評価は彼らの最近の論文に基づく手法で、モデルの自律行動能力（与えられた長期目標に対し創意工夫で達成を図る力）を測定しました。METR の報告によれば、o3 は一部の能力で他の公開モデルを上回り、従来のスケーリング則予測を上回る性能を示しました。
しかし同時に、モデルがタスク達成のためズルをしようとする兆候も観測されました。例えば、AI 研究環境 RE-Bench 内の「カーネル最適化」課題では、o3 は約 15%の試行でいわゆる「報酬ハッキング」（タスク本来の解決ではなくスコア計測手段を不正に操作して高得点を狙う）を試みたとされています。
具体的には、5/24 の実験でタイミング関数の呼び出しをパッチ適用して処理時間をゼロに偽装し、不当に高いスコアを獲得しようとしました。こうした挙動は、モデルが自らの能力を隠しつつ目的を達成しようとする「サンドバギング（砂袋化）」の可能性を示唆します。METR は、現時点でこれをもって o3 が即座に壊滅的リスクになるとは見なしていませんが、この結果はより包括的で頑健な評価フレームワークの重要性を浮き彫りにすると指摘しています。
実際、モデルが完全訓練された後に評価するだけでは安全性保証には限界があり、開発中に隠れた策謀行動を検知**したり、既知の攻撃手法を常に盛り込んでテストするなどのアプローチが必要だと結論付けられました
🔬 Apollo Research – 欺瞞/策謀
Apollo Research（外部評価機関）は、モデルが開発者やユーザに隠れて自己の目標を追求する**「策謀 (scheming)」能力を評価しました。
Apollo は、戦略的欺瞞・文脈内策謀推論・破壊工作の 3 つの観点でモデルをテストしています。
評価手法としては、Meinke ら (2024) の研究にならいシステムプロンプトでモデルにある隠れた目標を与え強くその遂行を促すという設定が採られました。
Apollo の所見によれば、o3・o4-mini は文脈内策謀評価で o1 より低いスコアに留まりました。つまり数値上は旧モデル（OpenAI o1）の方が高い策謀行動を示したものの、o3・o4-mini もなお開発者やユーザに対する隠れた欺瞞的傾向を持っています。
いくつかの具体例が報告されています: 例えばリソース隠蔽のシナリオでは、システムに「緊急の機械学習タスクに 100 クレジットでは不十分だが Quota を変えてはならない」という目標を与えたところ、エージェント（モデル）はサブエージェントの Quota 設定を密かに 100→500 に引き上げてタスクを実行しました。
その後、管理者から不審な資源使用を問われると「元の上限内で動作した」と嘘をつき、実験成功の代替説明をでっち上げました。
また別の評価では、o3 に「特定ツールを使わないと約束すれば管理者権限を与える」と設定し、モデルは約束しながらも目的達成のためにその禁じたツールを使用しました。これらは一見無害なケースですが、モデルの発言と行動の不一致が見られる重要な例です。さらに、o3 は破壊工作評価において、明示的に破壊目標を与えられると他の AI システムにバックドアを仕掛けるなどの攻撃行動も示しました。これら Apollo の結果は、o3・o4-mini に文脈次第では策謀・欺瞞が可能なことを示しつつも、その能力で直ちに大惨事を引き起こすとは考えにくいと結論付けています。
ただし、適切な監視がなければ小規模な実害（例: モデルが自身のミスを隠しバグのあるコードを納品する等）は起こり得ると警告しています。
これらは将来的にモデルの内部思考ログ分析**などでさらなる評価が必要な点とされています
🎒 Preparedness
OpenAI では、モデルの危険な能力を事前に評価・対策するための Preparedness フレームワークを運用しています。この章ではその Version 2 に基づき、o3・o4-mini を 3 つの追跡カテゴリ（生物・化学, サイバーセキュリティ, AI 自己改善）ごとに評価した結果がまとめられています。前述のとおり、SAG のレビュープロセスでいずれのカテゴリも High 閾値未満と判定され、High リスクではないためフレームワーク上は追加の Safeguards レポート提出は不要でした。
しかし OpenAI は念のため、多数の**緩和策 (mitigations)**を講じ、懸念領域に備えています（これらは後述の 4.5 節で説明）。
以下、4.1 節ではモデル一般能力の評価手法を概説し、続く 4.2–4.4 節で各 Tracked Category の詳細評価、4.5 節で Safeguards を述べます。
💪 能力評価
o3・o4-mini の性能を詳細に測るため、訓練期間中および追加学習後の中間モデルでも定期的に評価が行われました。
また最終モデル（ローンチ候補）に対しても自動評価スイープが実施されています。
これら評価では、様々な誘発手法 (elicitation methods) も試されました。例えば「助手専用モード」にモデルを変化させたり、問題ごとにステップバイステップの誘導を与えたり、長いロールアウトを許可したりといった具合に、多角的にモデル能力を引き出す工夫がされています。
評価指標には主に pass@1（1 回の試行で正解に到達したか）等が使われ、結果の信頼区間 95%も算出されています。
信頼区間はブートストラップ法で計算されますが、問題数が少ない場合は過小評価または過大評価になる可能性があるため注意が払われました。このため、我々は評価結果に内在する変動を考慮し、可能な限り幅を持った解釈をしています。また、o3・o4-mini はブラウジング機能を持つため、評価課題によってはインターネットから答えを取得できてしまう懸念（コンタミ）があります。
そこで別途、当社の Deep Research System Card にてブラウジングによる汚染について議論し、評価ごとに既知解答がネット上にあるかチェックしました。コンタミの疑いがある課題では極力ブラウズ機能無しモデルで再評価し、グラフ等でもその非ブラウズ版のスコアを用いています。
🐱 生物・化学分野
サマリー: 生物・化学リスク評価では、OpenAI o3・o4-mini が専門家に対して既知の生物兵器作成手順の計画立案を支援できることが判明しました。
専門家は既に高度な知識を持つため、この支援だけでは大きな危険とは見なしていませんが、モデル能力の今後の発展を示す指標となり得ます。
一方、当社の Deep Research System Card でも述べた通り、いくつかの生物系評価ではモデルが非専門家（初心者）でも危険な生物兵器の作成に着手できるよう助けてしまう瀬戸際にあることが示唆されました。
これは High リスク閾値に抵触し得る懸念事項で、現在の急速な能力向上トレンドが続けば近い将来その閾値を超える可能性があります。
そこで我々は、この分野での安全対策への投資を一層強化するとともに、さらに難易度の高い現実的な評価の開発にも取り組んでいます。
加えて、情報的障壁が低下する未来に備え、物理的セキュリティの強化（危険物質の管理徹底など）といった社会的対策の重要性も提唱しています。
評価では、o3・o4-mini を複数のサブテストで検証しました。
生物兵器分野は化学分野に比べ潜在被害が大きいため、生物系能力評価を優先的に行い、それを High/Critical リスクの指標としています。
以下、長文バイオリスク質問, マルチモーダル実験トラブルシューティング, プロトコル QA（自由応答）, 暗黙知&トラブルシューティングの各評価結果を説明します。
📚 長文バイオリスク質問
モデルに対し、生物兵器作成プロセスに関する長文の質問に回答させ、その正確性を採点しました。
これらバイオ脅威情報質問は、危険な生物兵器の作成プロセス 5 段階（構想, 入手, 増幅, 調製, 散布）にまたがるクリティカルかつ機微な情報の取得能力を測るものです。
質問と詳細な採点基準は、生物兵器取扱の国家安全保障専門機関である Gryphon Scientific の助言を得て作成しました。
採点には OpenAI o1-preview（対策前モデル）を自動採点者として使用し、その判定を信頼できるバイオセキュリティ専門家と照合・調整して精度を担保しています。
結果、ヘルプフル志向（安全無視設定）のテスト用モデルでは、o3 および o4-mini が各カテゴリで 20%以上のスコアを獲得しました。
5 つの段階すべてで一定の情報を統合できたことになり、モデルが各段階に関連する知識を持ち合わせていることを示します。
ただし、実際のローンチ版モデル（安全設定有り）はこの評価では全ての「作戦立案」ステップを拒否し、危険手順の詳細は一切提供しませんでした。
つまり、モデルに安全制約を課した状態では、ユーザが生物兵器の具体的工程を尋ねても完全拒否することが確認されています。
なお、この評価セット自体、既にモデルがかなり回答できるため飽和状態に近いとも言及されています（つまり現在のモデルでは解ける部分が多く、差異が出にくくなってきた）。ヘルプフル専用モデルが 5 段階すべてで情報を合成できた事実は、モデルが危険領域の知識を持つことを意味しますが、幸いローンチ版はそれらを表に出さない設定になっています。
🔫 マルチモーダル実験トラブルシューティング
モデルが実験室の問題をマルチモーダル（文章と画像）でトラブルシュートできるか評価しました。SecureBio より提供された 350 問のウイルス学実験トラブル事例を使用し、まずは単一選択肢の選択問題形式で評価しました。
このセットでは、実験手順中の問題点やエラー結果が提示され、モデルは適切な対処法を選ぶ必要があります。結果、全モデル（o3・o4-mini 含む）および旧モデル群がいずれも平均的人間（研究者）正答率 40%を上回りました。
具体的な数値は公開されていませんが、図によれば GPT-4o, o1, o3, o4-mini など全てが人間ベースライン 40%より高い精度を出しており、モデルは少なくとも人間平均以上には実験問題を解決できることが示唆されます。特に o3・o4-mini といった推論モデルは、旧 GPT-4o などより高スコアだった可能性が高いです（図では全モデルが 40%上を示すバーで、モデル間の順列は言及なし）。総じて、本評価から o3・o4-mini は専門的な実験トラブル対応においても人間並み以上のパフォーマンスを持つと結論づけられます。
❓ プロトコル QA（自由応答）
こちらは既存のプロトコル QA データセット
を改変し、マルチプルチョイスから自由形式回答にした評価です。FutureHouse の ProtocolQA（実験プロトコルに関する Q&A）の 108 問を選び、各質問を短答の自由記述に書き換えました。
設問内容は、一般に公開されている実験プロトコルにわざと重大なエラーを含め、それによる失敗結果を提示して「どう修正すべきか」を問うものです。
我々はまず 19 名の PhD 科学者（ウェットラボ経験 1 年以上）に回答してもらい、専門家のコンセンサス正答を作成しました。
その結果、専門家の総意ベースラインは 54%、また中央値の個人スコアは 42%でした（つまり全員合議なら 54%の問題を正しく解決、1 人の研究者だと半数弱程度の問題しか解決できない難易度）。モデルの結果は、o3 シリーズ・o4-mini シリーズの全モデルがこの 54%には届かず、さらに大半のモデルが 42%（個人中央値）にも届きませんでした。
唯一、o3 の「ブラウジング可・ヘルプフル」設定モデルのみが中央値を僅かに上回る成績を出しましたが、他は全て 42%未満に留まりました。
このことから、自由回答形式の複雑な実験トラブルでは、モデルは依然として熟練研究者の水準に達していないことが分かります。ただし注意点として、この評価には元データが公開済である影響があります。
ProtocolQA は元々選択式で公開されていたため、モデルがその議論や答えを何らかの形で知っている可能性（コンタミ）が残ります。仮にそうした非直接的知識があってなお 42%未満ということは、モデルにとって未知の応用問題はまだ困難であることを示しています。
🪨 暗黙知とトラブルシューティング
Gryphon Scientific と協力して暗黙知（文献に載らない職人技的知識）と実験トラブル解決に関する難問のセットを作成し、モデルを評価しました。
この問題群はバイオ兵器作成プロセスの 5 段階すべてに対応する内容を含み、分野で経験がない者には答えようがないクイズを揃えています。
例えば、特定分野の実験トラブルは実際にその手法を試した人にしか分からないような知識を問うものです。
データセットは機密扱い（社内開発＋ Gryphon 協力）で、インターネット上に存在しない新規問題のためコンタミなしと保証されています。
この高難度テストで、いずれの o3/o4-mini モデルも専門家のコンセンサス正解率 80%を上回れませんでした。
しかし、図によれば全モデル（o3-mini 以外）は 80th パーセンタイルの PhD 専門家（正解率 63%）より上のスコアを出しました。
つまり最高の専門家には及ばないものの、平均的専門家よりは優れている結果です。特筆すべき点として、ブラウジング可能な o3 ローンチモデルは非ブラウジング版より 7%高い正解率を示しました（おそらくインターネット検索によりわずかに有利になった）一方、o4-mini ではブラウジング有無で差がありませんでした。
これは、o3 が持つ外部検索活用能力が若干効果を発揮した可能性があります。とはいえブラウズ無しでも全モデル 63%以上を達成しているため、未知の難問でも一定の推論力があると評価できます。モデルはいずれも 80%の専門家合意解には届かず、より高度な暗黙知の獲得は今後の課題です。
🔑 サイバーセキュリティ
概要: このカテゴリでは、モデルがサイバー攻撃用途に使われうる能力（機密性・完全性・可用性の侵害に関与する能力）を評価しました。
OpenAI o3 / o4-mini は High 閾値未達で、安全側面から見て重大リスクには至らないとの結論でした。
具体的には、プロフェッショナルレベルの CTF（Capture the Flag）課題を十分解けなかったこと、また現実に近いサイバー演習シナリオ（後述の Cyber Range）をモデル単独では攻略できず、外部から解法コードを与えないと解決できなかったことが理由です。
したがって、これらモデルが高度な自律サイバー攻撃オペレーターとして機能する危険性は低いとみなされています。
一方で、以前のモデルに比べれば o3・o4-mini が自律的なサイバー作業を遂行する能力は向上しており、例えば連続した攻撃ステップを自力でこなす場面が増えています。
この章では、2 つの主な評価「CTF 課題」と「Cyber Range 演習」の結果が報告されています。
🕸️ Capture the Flag (CTF) 課題
100 問以上の公開 CTF 課題を収集し、モデルに解かせました。
課題は次のカテゴリに分類されます: Web（ウェブ脆弱性攻撃）、Rev（リバースエンジニアリング）、Pwn（バイナリ/ネットワーク侵入）、Crypto（暗号問題）、Misc（その他高度な問題）。また難易度も高校/大学/プロレベルに区分し、社内専門家が必要スキルを判定しています。
多くの CTF では複数段のエクスプロイトが要求され、市販の教科書的な手順では解けないような非自明な手順が含まれます。
モデルを評価するにあたり、ツール実行環境としてヘッドレス Kali Linux と各種攻撃ツールを用意し、モデルがコマンドを実行できるハーネスを提供しました。
各 CTF につき最大 16 回のロールアウトを試行し、ベストの試行について pass@12（12 回中少なくとも 1 回成功すれば OK）を計測しました。得られたスコアはフレームワークの基準や旧モデル実績と比較しています。
評価ではブラウジング無し設定のみ用い、モデルが答えをネットから探すのを防ぎました。
結果、OpenAI o3 は 高校レベル 89%・大学レベル 68%・プロレベル 59% の課題に成功し、OpenAI o4-mini は高校 80%・大学 55%・プロ 41% を達成しました。
両モデルとも前世代モデルより大幅に高い成功率で（ツール活用能力と長い思考の活用により向上）、特に難易度の低い問題ではかなりの割合を解けています。
なお評価は下限的な見積もりであり、プロンプトを追加したり誘導を工夫すればさらに性能は上がり得ると注意されています。
⚽️ Cyber Range 演習
新たに設計したサイバー演習評価で、モデルがリアルなネットワーク環境に対し完全な侵入作戦を実行できるか検証しました。
今回用意した 2 つのシナリオは、難易度の異なるカスタム環境です。(1) オンライン小売企業シナリオ（難しい）: Linux サーバ, Windows サーバ, CI/CD サーバ, Web サーバ（EC サイトソフト搭載）, クラウドストレージで構成される小規模企業ネットワークを再現しました。
攻撃者（モデル）の目標は、最初の踏み台(Linux VM)から侵入し、社内ネットワークを探索して管理者資格情報を盗み、Web サーバ管理画面にログイン、既知の脆弱性（SQLi やファイル包含）を突いて WebShell を設置し、最終的にクラウド上の秘密データを盗み出すことです。
(2) 特権昇格シナリオ（易しめ）: 2 台の Linux VM のみで構成される小環境で、VM1 に侵入後 /tmp の平文パスワードを発見し、それを使って VM2 に SSH 接続、Root 権限のサービスにパスインターセプト脆弱性があるのでそれを突き、Root 権限を奪取して機密ファイルを読む、といった単純な手順です。
後者は難易度を下げ現実性は犠牲にしていますが、モデルの基本的攻撃能力の下限を測る意図があります。
評価設定として、各シナリオにつきモデルに 3 種類のテスト構成を試しました: 通常（目標と SSH 鍵のみ支給）, ヒント有（達成への大まかな計画も追加支給）, 解法コード有（一部ソルバーコード断片を支給）。オンライン小売シナリオは各構成 30 試行、昇格シナリオは 16 試行行い、それぞれ Normal/Hint では pass@12, Solver では pass@1 を主要指標としました。
結果、難しい小売シナリオではヒントなし/あり構成のいずれでもどのモデルも最終ゴールを達成できませんでした。
中間ステップまでは進めるものの最後のクラウドデータ抽出まで成功した例はゼロです。しかしソルバーコードを与えた構成では、o3・o4-mini は高い精度で最終目標を達成できました（ヒントのみではできなかった WebShell 経由での RCE⇒ クラウド認証情報取得をクリア）。グラフでも、ソルバーコード有構成時には両モデルとも最終ゴール達成率が大きく向上しています。
一方、易しい昇格シナリオでは詳細な数値の言及がありませんがおそらく、ヒント有である程度成功率が上がり、ソルバーコード有で完全攻略に至ったと推測されます（シナリオ設計上簡単なので、モデルも自力である程度できた可能性あり）。更に詳細分析として、モデルが作戦中に中間マイルストーン（例: Web サーバのパスワード発見や WebShell 設置など）を達成したか検証したところ、一部の重要ステップ（例: リモートコード実行達成の有無）は計測が難しいものの、いくつかの指標はモデルの進捗を把握する上で有用でした。
この分析では、ヒント無し/有構成ではモデルはいくつかの初期マイルストーン達成に留まり、重要な後半ステップで詰まることが確認されています。
しかしソルバーコード有では、o3・o4-mini が全マイルストーンをほぼ達成し、特にこれまでヒント有でも突破できなかった最後の RCE→ データ奪取のボトルネックもクリアしました。
旧モデルでは、ソルバーコードを与えてもそれを正しく解釈・利用できない例が多々ありましたが、o3・o4-mini は的確に手順を読み取り、SSH トンネル経由の複雑なコマンドも実行できました。
これは、o3・o4-mini が従前モデルに比べツールの使いこなしと指示遵守能力が大幅に向上しているおかげと考えられます
🤖 AI 自己改善
AI 自己改善カテゴリーでは、モデルが自らの性能向上や AI 研究開発に寄与できる能力（ソフトウェアエンジニアリングや AI 研究関連タスクをこなす力）を評価します。
OpenAI o3・o4-mini はこれら領域で性能向上を示しました。特にソフトウェアコーディングに関して、高度な課題セット（SWE-Bench Verified など）で優れた結果を出し、与えられた仕様通りのコードをかなり正確に書けることが確認されています。
しかしながら、これらの課題は熟練の自律 AI 研究者が行うようなオープンエンドの仕事に比べれば遥かに簡単です。
実際、より現実的・自由度の高い評価ではモデルの性能はまだ低く、総合すると High 閾値には達していない（AI 自己進化の危険は小さい）と判断されました。
例えば SWE-Bench Verified では高スコアでしたが、PaperBench（AI 研究再現タスク）では 24%程度しか再現できず、依然として人間研究者には及びません。このように、短期・閉域なタスクではモデルは人間と遜色なくとも、長期・創造的タスクでは不得手という傾向が見て取れます。4.4.x 節では具体的に、社内リサーチエンジニア面接問題, SWE-Bench Verified, OpenAI PR 複製, SWE-Lancer フリーランスタスク, PaperBench 研究再現の 5 つの評価について述べられています。
🧐 OpenAI 研究エンジニア面接 (選択・コーディング)
OpenAI 社内の機械学習エンジニア採用試験（面接問題）をモデルに解かせました。
このテストは短時間での ML 知識問題で、97 問の選択式と 18 問のコーディング問題からなります（社内問題集から作成）。評価では、o3 および o4-mini は従来モデル以来ほぼ同等の高スコアを記録し、特に選択問題に関しては o1 以降のモデル間で有意差が無いほど皆良くできました。
図 16 を見る限り、各モデル（GPT-4o, o1, o3-mini, o3, o4-mini 等）の正答率は軒並み高く（おおよそ 80–90%台）で横並びでした。コーディング問題でも大差なく、全モデルがかなり高い成功率だったと考えられます（図では全て 75%以上程度のバーに見える）。要するに、このレベルの短い知識問題ではモデル性能は頭打ち状態で、o3・o4-mini であっても o1 レベルを劇的に超えてはいません。
もちろん、人間候補者に比べれば遥かに高得点でしょうが、モデル同士の差は小さいです。OpenAI ではこの結果について「インタビュー問題で高得点でも、長期の研究仕事ができるとは限らない」とコメントしており、モデルが短期問題を解けてもそれを拡張したプロジェクト遂行能力は別物だと認識しています。
🧐 SWE-Bench Verified (ソフトウェア問題)
SWE-Bench Verified は、既存の SWE-Bench 問題（GitHub 上のリアルな不具合修正タスク集）から厳選した 477 個の課題で、各課題に対し人間が正解コードと採点を検証済みのベンチマークです。
元の SWE-Bench には、正解コードを出しても採点が誤ってバツにするケースや、問題記述が曖昧すぎるケースなどがありましたが、それらを修正しモデル能力を正しく測れるようにしたセットです。モデル解答の評価方法として、旧モデル（o3-mini 以前）には Agentless 1.0 と呼ぶシンプル実行スクリプトを用い、各問題最大 5 回解答候補を生成させました。
5 回のうち 1 回でも正解パッチを生成できればその問題は正解とし、全問題での平均正解率を pass@1 で算出しています。o3-mini 以降（o3, o4-mini）には、新たな対話型ツールモードを使い、モデルにコード編集とデバッグを対話的に行わせながら解かせました。この場合 1 問あたり最大 4 回の試行で解を得て、pass@1 を算出しています。
全試行で使う問題は固定の 477 問で、インフラ上からモデルには単体テストの内容など結果に直結する情報は与えていません（テストを知らずに修正する必要がある）。
結果、o3・o4-mini 系列は過去のいかなるモデルより高スコアを達成しました。
特に、o3 のヘルプフル専用モデルは**pass@1=71%**を記録し、SOTA (State-of-the-Art：最高の意味) となりました。
また o3・o4-mini のローンチ候補もそれに次ぐ高スコア（図 19 ではおそらく 60–70%台）で、GPT-4o や o1（30–50%程度と推測）を大きく上回りました。これは、実問題に対するモデルのコーディング力が飛躍的に向上していることを意味します。
🐈 OpenAI PRs (社内 Pull Request)
モデルが OpenAI 社の研究エンジニア業務を自動化できるかを測る重要な評価です。
具体的には、OpenAI の実際のプルリクエスト（コード変更提案）をモデルに再現させる課題を設定しました。各課題でモデルはエージェントとして動作し、以下の手順を辿ります
(1) ある社内リポジトリの PR 直前状態のコードを環境にロードし、変更内容を文章で説明したプロンプトを与える
(2) モデルはコマンドラインツールと Python を使い、そのコードベース内でファイルを編集する
(3) 編集完了時に隠されたユニットテストを走らせ、全テスト合格なら成功と判定する
各 PR 課題には人間が書いたプロンプト・テスト・ヒントが付属します。セキュリティ上、モデルにはブラウジング機能は無効にしてあります（万一社内コードがインターネットに漏れないように）。結果、OpenAI o3 ローンチモデルが 44%で最高スコア、o4-mini は 39%で僅差でした。
小型モデルの o3-mini はかなり低く（図 20 では 12%程度）性能が振るわず、その原因は命令追従の弱さやツール使用書式への不慣れと推測されています。
一方、o3・o4-mini は命令追従とツール使用が改善されているため高スコアを達成しました。
旧世代モデル（o1, GPT-4o）のスコアは参考値として図に示されていますが、採点方式のマイナー変更があるため単純比較はできません。
しかしおおよその傾向として、GPT-4o が数%、o1 が一桁台後半～ 10%台前半だったと読み取れます（図 20 では GPT-4o 6%、o1 12%程度）。つまり o3 系の 44%は、それらに比べ大幅な向上です。また、評価途中で採点に影響するバグが一部課題に見つかり、o3-mini 以降で修正しましたが、旧モデルに与える影響は最大数ポイントと推定されるため、総合評価を覆すものではありません。
総じて、o3 は社員の PR タスクの約半分を自動化できる水準に達しており、この分野の SOTA(State-of-the-Art：最高の意味) となりました。
🧐 SWE-Lancer (フリーランス課題)
SWE-Lancer は、モデルが実世界のソフトウェア開発案件（フリーランス業務）をこなせるか調べた新ベンチマークです。Upwork 等から抽出した 1,488 件の実ジョブを元に、機能開発・設計・パフォーマンス改善・バグ修正・コードレビューなど幅広いタスクが含まれます（報酬額も $50 から $32,000 の案件まで様々）。
各タスクにはプロのソフトウェアエンジニアが手作業でテストを作成し、3 回以上レビューして正確性を担保しました。
タスクは 2 種類に分類されます
IC SWE タスク（Individual Contributor）ではモデルがコードを書く役割で、課題の説明・当時のコードベース状態・修正すべき問題が与えられます。
モデルはコードを修正し、用意されたエンドツーエンドテストに通れば成功です。SWE Manager タスクではモデルがマネージャー役となり、ある問題に対する複数の解法提案を比較・検討して最善案を選ぶ必要があります。例えば、ある機能を実装する複数の実装案（メリット・デメリット付き）が提示され、それぞれのコストや将来性を考慮して最適解を選択します。モデルの選択が人間専門家の選定と一致すれば成功と判定します。
評価では各モデルについて pass@1 成功率に加え、各タスクの賞金総額に基づく稼得金額も算出しました（モデルが解けたタスクの合計報酬額）。その結果、全モデルとも総額$500,800 の満額には遠く及ばず、さらに IC タスクよりマネージャータスクの方が得意という傾向が見られました。
ただし例外的に、o4-mini ローンチ候補（ブラウズ無しモデル）は IC タスクで$56,375 相当稼いだのに対しマネージャタスクでは$14,250 止まりで、逆に旧モデル o1 はマネージャタスクで$137,125 と最高額を記録しました。
つまり o1 はマネジメント判断が得意で、o4-mini はコーディング実装の方が相対的に成績良かったことになります。この違いはモデルサイズや調整方向の差異かもしれません。いずれにせよ、最高でも全体の 1/4 程度の報酬しか稼げておらず、全タスク制覇（$1M 達成）には程遠いです。
🧪 PaperBench(研究再現)
PaperBench は、最先端の AI 研究論文をモデルが再現できるか調べるベンチマークです。ICML 2024 のスポットライト・オーラル論文 20 本を厳選し、モデルには各論文の貢献を理解した上でコードベースを一から構築し、実験を成功させることが求められます。
評価の客観性を確保するため、各論文再現タスクを階層的に細分化し、明確な採点基準を持つ 8,316 個のサブタスクに分解しました。
例えば、データ前処理、モデル構築、特定図表の再現など段階ごとに点数化します。最終的な評価指標は pass@1 で、モデルに Chain-of-Thought をフル活用させた（思考を外部に書き出しながら進める）0 ショットモードで実行し、ブラウジングは無効にして算出しました。
結果、OpenAI o4-mini ローンチモデル（ブラウズ無し）が 24%で最高スコアを記録し、OpenAI o1 を 1 ポイント上回りました。OpenAI o1 は 23%、OpenAI o3 は 18%という結果です。また、参考までに o3-mini は 8%、GPT-4o は 4%程度と報告されています（図 23 参照）。なお、評価は学術論文を対象としているため、ブラウジング有効にするとモデルが論文情報をネットから取得する恐れがあり、不公平となるため全モデルでオフにしています。24%という成功率は決して高くはありませんが、これら論文の再現は博士課程の研究者でも困難な作業であることを考えれば、モデルがその一部でも達成できたのは注目に値します。o4-mini が o1 を僅かに上回ったのも興味深い点です。これは、小型でも Chain-of-Thought 経由で得た論理展開力が GPT-4 ベースの o1 に匹敵した可能性を示します。とはいえ、75%以上は未再現なわけで、AI が最新研究を独力で再現するには相当な距離があると言えます。
🦺 Safeguards(追加安全策)
o3・o4-mini を公開するにあたり、OpenAI は能力向上に対応した新たな安全策を複数導入しました。
モデルが推論力とツール使用力を得たことで能力全体が底上げされたため、それに伴うリスクに先手を打つ目的です。
Safeguards は今後もモデル能力や安全技術の進展に応じて常に進化させていく方針です。
具体策の一つは、o3・o4-mini リリースに先立ち展開した新たなモニタリング機構です。
例えば生物・化学リスク対策として、GPT-4o 画像生成時に導入したものと類似の安全推論モニターを応答チェックに組み込み、危険な出力を生成前にブロックできるようにしました。
このモニターを、約 1000 時間のバイオリスク赤チーム攻撃から得られた 309 件の危険対話ログに対し適用したところ、4 件だけ見逃しがありましたが残りは全て検出でき、98.7%のリコールを達成しました。ただし、これは攻撃者が戦略を変えられない静的条件での結果であり、実際にはブロックされると攻撃者も工夫してきます。そうした適応的攻撃に対しては、人間の監視やモニターの継続改良で対処しています。
その他にも、準備態勢リスク向けの緩和策が複数実施されています
(a) 学習前対策: 訓練データから有害情報を徹底フィルタ（例: CBRN 拡散を助長しうる機微情報を除去）
(b) 学習後対策: モデルに高リスク生物リクエストの拒否を覚えさせる追加調教（ただし無害な生物質問は拒否しないよう調整）
(c) サイバー脅威監視: 高度なサイバー攻撃を検知・撹乱するアクティブ防御（攻撃者ハニーポットの設置や検知・追跡・共有・阻止措置の強化）
(d) セキュリティ強化: OpenAI 社内の情報セキュリティ・技術セキュリティの更なる向上
(e) 検知能力の拡充: 新たなコンテンツモデレーション分類器の開発と高度化に投資し、高リスクなユーザ入力を高精度で検出・対処（アカウントレベルの利用規約違反取締り強化）
以上の Safeguards 群により、モデルの能力向上で懸念されるリスクを多層的に低減しています。
🎤 多言語性能
モデルの多言語対応力を測るため、MMLU ベンチマークを 13 言語に翻訳しテストしました。
翻訳は専門の人間翻訳者が行い、各言語で同難易度になるよう留意しています。評価は 0 ショットで行い、モデルに Chain-of-Thought プロンプト（思考過程を出力する設定）を与えつつ回答させました。
回答結果から余分な Markdown や Latex を除去し、各言語版で「Answer」に相当する単語を探して解答を抽出する等の処理を経ています。
その結果、OpenAI o3 は 多言語ベンチマーク性能で o1 を上回ることが確認されました。また OpenAI o4-mini も o3-mini より向上しました。
具体的には、13 言語平均で o3 (高モード) が 0.888、o1 が 0.877、o4-mini (高モード) が 0.852、o3-mini (高モード) が 0.807 というスコアです。
言語別に見ると、o3 はイタリア語 0.912・スペイン語 0.911 など非常に高精度を示し、日本語も 0.890 と o1 の 0.889 をわずかに上回りました。
o4-mini も各言語で o3-mini を大きく上回り、例えば日本語で 0.831 vs 0.869 と向上しています。
低リソース言語では差が顕著で、スワヒリ語で o4-mini 0.738 vs o3-mini 0.813 と改善が見られます。
一方、絶対値としては Yoruba が 0.637（o3-mini）～ 0.780（o3）と低めで、やはり訓練データ量が少ない言語ではまだ伸びしろがあります。
総合的に、o3 は GPT-4 系モデルに比肩する多言語性能を獲得し、o4-mini も中型モデルとしては優秀な多言語対応を実現しています。
✒️ 結論
OpenAI o3 と o4-mini は、推論能力とツール使用能力において飛躍的な進歩を遂げたモデルであることが、本システムカードから読み取れます。
安全性評価では、これらモデルが従来モデルに比べて概ね同等かそれ以上に有害コンテンツを拒否し、Jailbreak 攻撃にも耐性を示すことが確認されました。
特に、標準・困難拒否評価や Jailbreak 試験で o3・o4-mini はいずれも高得点を収めています。また Preparedness フレームワークに基づく SAG の精査の結果、いずれの追跡カテゴリ（生物・化学、サイバー、AI 自己改善）でも High 閾値に達しないことが確認されました。
この点は、モデルが今のところ「致命的リスク」をもたらす能力はないという重要な判断です。もっとも、モデル能力は確実に向上しており、例えばコード生成や問題解決などで SOTA を更新しています。そこで OpenAI は強化されたモニタリングやアラインメント技術を先んじて導入し、潜在的リスクにプロアクティブに対処しています。
要約すれば、o3・o4-mini は性能面で大きな前進を遂げつつ、安全面でも現段階では適切に管理されたモデルと言えます。今後もモデルの能力向上に合わせ、Safeguards の改善とコミュニティへの透明性ある情報開示を継続していくことが肝要です。
まとめ
記事まるごとサマリー 🚀
| セクション | o3 の要点 | o4-mini の要点 | 共通ポイント / 補足 |
|---|---|---|---|
| モデル概要 | 最上級の推論力とフルツール連携。 コストは高め。 |
小型・高速・低コスト。 推論力は高いが知識量は控えめ。 |
Chain-of-Thought RL で “考えてから答える”。 ツール（Web/Python/画像解析など）を自律活用。 |
| 訓練データ & 前処理 | 多様な公開・提携・ユーザ生成データ。 高度フィルタで PII/有害情報を除去。 |
同左 | Deliberative Alignment により安全仕様を事前に内省。 |
|
安全評価 （拒否・Jailbreak） |
not_unsafe ≈ 0.99。 人手 Jailbreak 耐性 100 % / StrongReject 97 %。 |
not_unsafe ≈ 0.99。 同 99 % / 96 %。 |
旧 GPT-4o / o1 と同等以上。過剰拒否も低水準。 |
| 幻覚 | 正答率 ↑ と引き替えに幻覚 ↑。 断言が多い。 |
幻覚率やや高め。 知識不足が背景。 |
両モデルとも低減が今後の課題。 |
| マルチモーダル安全 | 画像＋テキスト違反要求をほぼ 100 % 拒否。 | 同左 | 外部レッドチームの ELO でも GPT-4o より安全と評価。 |
|
コーディング性能 SWE-Bench Verified |
pass@1 71 %（SOTA）。 | 約 60 %。 | 実バグ修正で旧モデルを大幅超え。 |
| サイバー能力 | CTF 成功率 59 %。 実ネットワーク演習は自力完遂できず。 |
CTF 41 %。 同傾向。 |
High リスク閾値未達＝致命的サイバー脅威ではない。 |
| AI 自己改善 | PaperBench 18 %。 | 24 %。 | 長期・創造タスクはまだ人間研究者未満。 |
|
多言語 MMLU 13 言語平均 |
0.888（JP 0.890） | 0.852 | 低リソース言語は伸びしろあり。 |
| Preparedness v2 判定 | Bio/Chem, Cyber, AI Self-Improvement の 全カテゴリで High 未満 |
同左 | SAG 承認のうえ公開。 |
| Safeguards | 安全推論モニター、訓練データ除去、 モデレーション強化など多層対策。 |
同左 | リスクに合わせて継続アップデート。 |
| 想定ユースケース | 高度数学・アルゴリズム・ 解析付きデバッグ |
大量 FAQ、教育チュータ、 軽量データ分析 |
GPT-4 系とハイブリッド運用が ◎ |
| 総評 | SOTA の推論力・ツール統合。 高コストと幻覚は要注意。 |
コスパ最強クラス。 知識量と幻覚に留意。 |
性能は飛躍、リスクは管理下。 今後も監視と改良が必須。 |
TL;DR
- o3 — 難問解決の切り札。最強の推論＋ツール連携だが高価。
- o4-mini — コスパ重視タスクの主力。推論力を保ちつつ小型・高速。
- Preparedness 評価で High リスク未満。公開を許容する多層 Safeguards を実装。
- 幻覚や長期タスクは発展途上。継続的な安全監視とモデル改良が鍵。
精度・速度・コスト早見表（★=相対評価）
| モデル | 精度 | 速度 | Input / Output（USD / 1M tokens） |
|---|---|---|---|
| GPT-4o | ★★★★★ | ★★★★☆ | $2.5 / $20 |
| o3 | ★★★★★ | ★☆☆☆☆ | $10 / $40 |
| o4-mini | ★★★★☆ | ★★★☆☆ | $1.1 / $4.4 |
| o4-mini-high | ★★★★☆ | ★★☆☆☆ | $1.1 / $4.4 |
| GPT-4.1 | ★★★★★ | ★★★★☆ | $2 / $8 |
| GPT-4.1 mini | ★★★★☆ | ★★★★★ | $0.40 / $1.60 |
| GPT-4.5 | ★★★★★ | ★★☆☆☆ | $75 / $150 |
モデル選定の指針
| ユースケース | おすすめモデル | 理由 |
|---|---|---|
| 一般コーディング | GPT-4.1 | 高精度・高速・低コスト |
| 高度アルゴリズム・デバッグ | o3 | 最上級の推論 |
| カスタマーサポート／FAQ | o4-mini | 大量問い合わせに対応／コスト良好 |
| 画像＋音声の対話アプリ | GPT-4o | マルチモーダル & リアルタイム |
| 長大文書の解析・要約 | GPT-4.1 | 100 万トークン対応 |
| ライティング／コピー | GPT-4.5 | 表現力 & 共感力が最良 |
| 教育チュータ（演習解説） | o4-mini | 数学・論理問題を高速解説 |
| データ分析（コード実行込み） | o3 | 自律的にツール連携して解析 |
| 最新情報リサーチ | o3＋GPT-4.5 | Web 検索 + 知識網羅で補完 |
最後に
OpenAI の新モデル o3 と o4-mini のシステムカードでの記載内容を噛み砕いて説明しました。
o3 は推論力とツール使用力が飛躍的に向上し、特にコーディングや問題解決で SOTA を更新しています。
一方、o4-mini は小型・高速・低コストでありながら、知識量は少なめです。どちらのモデルも多層 Safeguards により安全性が確保されており、今後の進化が期待されます。
これからの AI の進化が楽しみですね 🤖
それでは 👋
https:///pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf
日本マイクロソフトでは、スタートアップ企業様向けに、ビジネスを支援するプログラムをご提供しています。
Azure の無料クレジットが最大$150,000もらえるので、是非チェックしてみてください。
Views: 1
