Apple Vision Proの開発において、ネイティブアプリの開発は従来通りXcodeとSwiftUIを使用する必要があります。しかし、AI技術の進歩により、コード生成の支援が大幅に向上しています。
今回は、Claude Code（Anthropic社のAIコーディングアシスタント）を使用して、Apple Vision Proのネイティブアプリをどこまで自動生成できるか試してみました。
目標
- visionOSネイティブアプリを100%自動生成
- 空間コンピューティングの特徴を活かしたUIを作成
- 実際にApple Vision Proで動作するアプリを完成させる
作成するアプリ
今回は、3D空間上に3Dモデル(USDZ)を配置・操作できるシンプルなアプリを作成することにしました。
下記の手順で進めました。
- Claude Desktop で仕様書を作成し CLAUDE.md に出力
- Claude Code に「CLAUDE.mdの通りに実装して」と投げ込み、コードを生成
- ビルド、エラー解消、操作性の調整
ここまでかかった時間はコード生成までが約15分、操作性の調整までが約1時間ほど。
1,2時間あると、このくらいのアプリであれば動く状態になります。
生成したコードはこちらにpushしています。
Claude Desktop で仕様書を作成し CLAUDE.md に出力
Claude Codeには「メモリ管理」という機能があり、プロジェクト用のチーム共有指示などを記述できます。
詳細は下記を参照になりますが、プロジェクトメモリというプロジェクト用のチーム共有指示を目的として、プロジェクトアーキテクチャ、コーディング標準、一般的なワークフローを記載するCLAUDE.mdが定義されています。
CLAUDE.mdに生成する仕様を記載することで、Claude Codeが一気に実装するようになります。これ自身の生成もClaude Codeでやるのでも良いですが、使い慣れていることやプロンプトが履歴として残ることから Claude Desktop で生成しています。
まず、Claude Desktop に対して以下のようなプロンプトを投げました。
Apple Vision Pro用の簡易3DモデルビューアーをClaude Codeに作ってもらいたいです。
まずは仕様の壁打ちをお願いします。
壁打ちが終わって仕様が固まったら CLAUDE.md を生成してください。
概要です
* ターゲット： モデルを手軽に扱いたいホビーユーザー
* 仕様：アプリへモデルの追加、削除、一覧表示、縮小表示(Volume)、実寸・サイズ変更表示(Immersive)
* 開発環境：Xcode + Swift
これを元に仕様の確認が入り、取捨選択をしながら、CLAUDE.mdにまとめてもらいました。
実際に生成されたCLAUDE.mdはこちらです。
Claude Codeで実装
VS Codeでプロジェクトフォルダを作成し、そこにCLAUDE.mdをコピー。
ターミナルでClaude Code を実行して「CLAUDE.mdの通りに実装して」と投げ込み、コードを生成します。
おおよそ生成されるまでの時間は15分ほどです。
ビルド、エラー解消、操作性の調整
生成されたコードは一発で動かないことが多い(自分のプロンプトの入れ方に改善の余地があるのかも)こと、「.xcodeproj」のようなプロジェクトファイルが生成される時とされない時があることなど、出力には生成AIならではのムラがあります。
Xcodeを開きビルドエラーを解消します。
エラーが出たら、エラー出力をコピーして、そのままClaude Codeに貼り付けます。エラー出力にはファイルパス、エラー行数が入っているので、そのまま修正が始まります。
5回から10回ほどやり取りをするとビルドエラーは解消されます。
次に実機またはシミュレーターへデプロイします。すると実行時エラーが出ることがありますが、これも同様にエラーコードをコピーしてそのままClaude Codeへ貼り付けます。
これらのやり取りを経て動作するようになったら、細かい操作性の調整をします。まだまだ3次元の処理を生成するのは難しいようで、動作やコードを見ながらClaude Codeへ修正依頼し改善していきます。
生成されたコードについて
生成されたコードはどうするシンプルな状態になっています。コードを読んで学ぶたの教材にもなると思います。
一方で、ジェスチャー処理の実装に時間がかかり難しいと感じた。ただし、これは学習量の問題と、自分の指示の出し方の双方に課題と考えています。
Claude Codeを使用したApple Vision Proアプリ開発は、基本的な構造やプロトタイプの作成においては非常に有効でした。
特に下記の項目において力を発揮すると感じています。
- プロトタイピングの高速化: アイデアを素早く形にできる
- 学習効率の向上: visionOS開発のベストプラクティスを学べる
ただし、実運用に向けたアプリでは、AIが生成したコードをベースに人間によるレビュー、修正、最適化が不可欠です。
まだまだ課題は多くありますが、コード生成系のAIが盛り上がったのがこの半年、1年と考えると今後の進化速度はより一層早くなりますし、今の課題の大半は解決するのではないかと思います。
Views: 0
