コンピューター操作エージェント（Computer Use）─ スクリーンを見て操作するAIの仕組み
結論から言うと、**Computer Use（コンピューター操作）**はLLMがスクリーンショットを「目」の代わりに受け取り、マウスのクリックやキーボード入力をアクションとして出力することで、人間と同じようにデスクトップを操作できる技術です。APIを持たない既存アプリでも自動化できる汎用性が最大の特徴とされています。
「見て→判断して→操作する」ループの仕組み
Computer Use の動作は次の繰り返しです。
- スクリーンショットを取得してLLMに送る
- LLMが画面を読み取り次の操作を推論する
- マウス移動・クリック・テキスト入力などのアクションを出力する
- アクションを実行してまたスクリーンショットを取得し、1に戻る
このループはReActループ（レッスン04）と本質的に同じ構造です。違いは「ツール」がキーボード／マウスであること。モデルは1操作ごとに最新の画面を確認しながら進みます。Anthropicの開発チームは「電卓やテキストエディタで学習したスキルが他のアプリにすばやく汎化した」と述べています。
利用できる3つのツール
Anthropicの実装では3種類のツールを組み合わせて使います。
- computer: スクリーンショット撮影・マウス操作・キーボード入力を担う中核ツール
- bash: コマンドライン操作（ファイル移動・スクリプト実行など）
- text_editor: コードや設定ファイルの精密な読み書き
「画面上のアプリはcomputerで、ファイルはtext_editorで、自動化スクリプトはbashで」と役割を分担することで、幅広いタスクをカバーできます。なお、2026年6月現在もベータ機能として提供されており、利用にはAPIリクエストヘッダーへのベータフラグ指定が必要です。
セキュリティに注意 ─ 隔離環境と最小権限が基本
Computer UseはLLMが実際の操作権限を持つため、通常のAPI利用よりリスクが高いとされます。Anthropicは次の対策を推奨しています。
- 専用の仮想マシン・コンテナを使いホスト環境から切り離す
- モデルにパスワードなどの機密情報を渡さない
- インターネットアクセスを許可リストのドメインに限定する
- 重大な操作は人間の確認を挟む（ヒューマン・イン・ザ・ループ）
Webページや画像に埋め込まれた悪意ある指示（プロンプトインジェクション）で操作が乗っ取られるリスクもあります（レッスン19参照）。公式ドキュメントでは自動検出クラシファイアが組み込まれていますが、完全ではないため隔離と権限最小化が特に強調されています。
まとめ
Computer UseはAPIのない既存アプリも含めてあらゆるデスクトップ操作を自動化できる強力な技術です。一方で操作権限を持つ分だけリスクも大きくなります。「専用の仮想環境で最小権限で動かす」「重要な操作は人間が確認する」この2原則が安全な実用化の第一歩とされています。まず公式のデモ実装（Dockerコンテナ付き）を試すと、仕組みを具体的に体感できます。