#スクリーンショット

コンピューター操作エージェント（Computer Use）─ スクリーンを見て操作するAIの仕組み

Computer UseはLLMがスクリーンショットを「目」として使い、マウスのクリックやキーボード入力を出力することで、人間と同じようにデスクトップを操作できる技術。APIのない既存アプリも操作できる汎用性が最大の特徴とされ、専用の仮想環境と最小権限での実行が安全運用の基本とされる。