コンピューター操作(computer use)とは | AIが画面を見て、クリックして入力する使い方と、任せる前に決めておくこと
3行で捉える
- コンピューター操作は、AIが画面を見て、クリックや入力をして、人と同じようにソフトを使うことです。
- 利点は、機械向けの窓口がない仕組みでも扱えること。弱点は、画面の見た目が変わると失敗しやすいことです。
- 任せる前に、取り消せる作業と取り消せない作業を分けておくことを当サイトは勧めます。
意味
英語ではcomputer use。AIが、人が見るのと同じ画面を受け取り、どこに何があるかを判断して、マウスを動かし、クリックし、文字を打ち、スクロールする。そうやって、人と同じ手順でソフトを使う使い方です。
AIにソフトを使わせる方法は、もともと別にありました。APIです。これは、機械どうしがやり取りするための決められた窓口で、速くて確実です。使える場面なら、こちらのほうが向いています。
問題は、窓口がない場合です。社内で長く使ってきた古い仕組み、画面からしか操作できない業務ソフト、取引先が用意した入力フォーム。人が毎日手で触っているのに、機械からは触れない。コンピューター操作は、そこを埋める方法だと当サイトは理解しています。
何が得意で、何が苦手か
得意なのは、手順は決まっているが量が多い作業です。書類から数字を拾って別の仕組みに入れる、複数の画面をまたいで情報を突き合わせる、といったもの。人がやると単調で、間違いも出る種類の仕事です。
苦手なのは三つあると当サイトは考えます。一つ目は、見た目の変化。ボタンの位置やデザインが変わると、手順がずれます。二つ目は、途中で判断が要る場面。想定にない表示が出たとき、人なら立ち止まるところを、進んでしまうことがあります。三つ目は、画面に書かれた指示に従ってしまうこと。見ている画面の中に、AIへの指示に見える文字が仕込まれていると、それを命令として受け取ってしまうおそれがあります。
2026年10月に、何が示されたか
10月26日、OpenAIは、細かい視覚的な推論とコンピューター操作を得意とするモデル、GPT-6.1 Terraを公開しました。標準のAPI料金は、従来機のGPT-5.6 TerraとGPT-6.1 Solより50%低いとされています。デスクトップのアプリを使って複数の手順をこなす試験では、推論にかける労力を中程度にした設定で、従来機の最高点を上回り、課題あたりのコストも数分の1だった、としています(レビュー)。
同社はあわせて、このモデルが課題の範囲から外れにくく、使う人の課題から逸らそうとする悪意ある指示への耐性も強かった、と書いています。上で挙げた苦手のうち、二つ目と三つ目にあたる部分です。
任せる前に決めておくこと
当サイトは、次の三つを勧めます。
取り消せるかで分ける。読む、写す、下書きまでは任せやすい作業です。送信、購入、登録、削除のように、外に影響が出て戻せない操作は、人が確かめる形にしておく(ヒューマン・イン・ザ・ループとは)。
やめる条件を先に書く。想定にない画面が出たら止める、といった条件を、作業を始める前に決めておく。あとから止めるのは効きにくい、という結果が別の報告で示されています(モメンタムとは)。
作業の範囲を狭くしておく。使えるアプリや触れるファイルを、その作業に必要な分だけにする。範囲が狭ければ、間違えたときの被害も小さくなります。
関連する用語とレビュー
OpenAIがGPT-6.1 Terraを公開(レビュー) / AIエージェントとは / モメンタムとは / ヒューマン・イン・ザ・ループとは / AI用語解説トップ