Microsoftは15日(米国時間)、Copilot Studioに新機能「Computer use」を追加することを発表した。この機能により、AIエージェントがウェブサイトやデスクトップアプリケーションのグラフィカルユーザーインターフェイス(GUI)を直接操作できるようになる。
Computer use機能はアーリーアクセスのリサーチプレビューとして提供される。この機能を使用すれば、人間が自然言語で指示するだけで、AIエージェントがボタンのクリック、メニューの選択、フィールドへのテキスト入力など、画面上のGUIと直接やり取りできるようになる。
これにより、APIが利用できないシステムでも自動化が可能になるとのことだ。加えて、コーディングの必要もなく、自然言語で必要なものを説明するだけで作業を自動化できる。
「人が使えるアプリなら、エージェントも使える」という同社の説明通り、API連携が困難だったレガシーシステムも自動化の対象。Windows上のデスクトップアプリケーションだけでなく、Edge、Chrome、Firefoxといった主要なWebブラウザ上での操作にも対応する。
また、複雑で動的なインターフェイスを処理でき、アプリやWebサイトの変更に自動的に適応するのも特徴。内蔵された推論機能を使用してリアルタイムで問題を修正し、作業が中断されないよう調整される。
同社はComputer useの具体的な活用シナリオとして、大量のデータ入力の自動化、市場調査データの収集、請求書処理などを挙げており、作業効率化のみならずヒューマンエラーの低減も見込めるとした。また、処理データはMicrosoftクラウドの境界内に留まり、基盤となるLLMのトレーニングには使用されないと明言されている。
Be the first to comment
