AI エージェントに画面をクリックさせるべきでない理由：デスクトップアプリにローカルのコントロールプレーンを作る

ひと言でいうと

AI エージェントにデスクトップアプリを使わせるとき、つい選びたくなるのは、人と同じように画面を見てクリックさせる方法です。動画アプリでは、それは間違った設計です。クリックは壊れやすく、エージェントはマウスで届くものすべてに手が届き、「書き出しをクリックした」ことは書き出しが正しいことの証明になりません。

• AI エージェントにスクリーンショットを見ながらクリックさせてデスクトップアプリを操作する方法は、デモでは動きますが、壊れやすく、遅く、マウスでできることをすべてエージェントに許してしまいます。
• KwaFlux は代わりに構造化されたコントロールプレーンを公開しています。型付きの MCP ツール、呼び出しごとに少数のパラメーター、そしてキューに入れる前のアプリ側のチェックです。
• ジョブ全体を書くのはエージェントではありません。KwaFlux のワーカーが、あなたが書き出しをクリックしたときにアプリが使うのと同じジョブビルダーで組み立て直します。
• アプリと共有するルールはコピーではなく生成で作られ、両者がずれるとテストが失敗します。

KwaFlux は別の道を選びました。型付きの依頼を受け付けてチェックし、本物のジョブをアプリの中で組み立てる、ローカルのコントロールプレーンです。

この記事では、この用途で画面の自動操作が力不足な理由、KwaFlux の各レイヤーのつながり方、エージェントが小さなパラメーターだけを送る理由、そしてこの設計があえてできないことを解説します。

目次

1. AI エージェントのためのコントロールプレーンとは？
2. 画面の自動操作とコントロールプレーンの比較
3. チャットからワーカーまでのレイヤー
4. 小さなパラメーターを、アプリが組み立て直す
5. アプリとエージェントでルールの出どころを 1 つに
6. キューに入れる前にコントロールプレーンがチェックすること
7. エージェントが頼れる結果
8. この設計が手放したもの
9. よくある質問

AI エージェントのためのコントロールプレーンとは？

AI エージェントのためのコントロールプレーンとは、エージェントがアプリケーションに特定の処理を依頼できる、範囲の狭いプログラム用インターフェースです。依頼ごとにチェックし、拒否し、実行する権限は、アプリケーション側が持ち続けます。

KwaFlux では、このインターフェースが MCP ツールの集まりで、権限は起動中のデスクトップアプリにあります。エージェントは頼み、決めるのは KwaFlux です。

画面の自動操作とコントロールプレーンの比較

スクリーンショットをもとに動く Computer Use 型のエージェントは確かな進歩で、API のないアプリではほかに手段がありません。Anthropic 自身も Computer Use ツールのドキュメントで限界を率直に認めています。モデルは「結果を明示的に確認しないまま、操作が成功したかのようにふるまうことがある」こと、ドロップダウンやスクロールバーはマウスで操作するのが「難しい場合がある」こと、Web ページや画像の中の指示が「あなたの指示を上書きする可能性がある」ことが記されています。そして Computer Use は「最小限の権限を持つ専用の仮想マシンまたはコンテナ」で実行するよう推奨しています。

画質修復や変換ツールを備えた KwaFlux のように、自分のパソコンで使う動画アプリでは、こうした限界が効いてきます。

最後の行は、厳密な数字を競うものではありません。要点は、構造化された呼び出しのコストは書き出しが 10 秒でも 10 分でも変わらないのに対し、画面を見張るエージェントは見るたびにコストを払うということです。

チャットからワーカーまでのレイヤー

依頼は 6 つのレイヤーを通ります。各レイヤーの役割は 1 つずつで、どのレイヤーも拒否できます。

1. AI ホスト（Cursor、Claude、Codex など）が KwaFlux の MCP サーバーをローカルのプロセスとして起動し、標準入出力でやり取りします。
2. MCP プロセスはツールの呼び出しを型付きの小さな依頼に変え、ファイルに触れる前に、アプリと同じ方法でパスをチェックします。
3. ローカルのチャネルが MCP プロセスと起動中のアプリをつなぎます。Windows ではあなたのユーザーアカウント用の名前付きパイプ、Mac ではあなたのアカウントしか開けないソケットです。接続はどれもトークンによるハンドシェイクから始まります。このレイヤーはローカルチャネルの記事で解説しています。
4. アプリ内のコントロールプレーンが依頼をチェックします。パスはローカルのフルパスか、ユーザーは適切なプランでログインしているか、そのタスクはこのエージェントのものか、エージェントはレート制限の範囲内か、ダウンロード設定が許しているか、という点です。
5. スケジューラーは、あなたがウィンドウで始めたジョブと並べてジョブをキューに入れます。そのため、同じ GPU と同じタスクリストを共有します。
6. ワーカーはジョブ全体を組み立て、有料機能では署名付きリースを検証し、エンジンを動かして、結果を元のファイルと同じ場所に書き出します。

小さなパラメーターを、アプリが組み立て直す

ほかのすべてを方向づけた決定はこれです。エージェントはジョブの完全な記述を送りません。

KwaFlux の書き出しジョブには、デコーダーの設定、モデルの選択、タイルサイズ、エンコーダーのオプション、色の扱いなど、たくさんの項目があります。エージェントがこの構造をまるごと送れるとしたら、2 つの問題が起きます。モデルは自分で確かめられない値を作り出すことになり、細工されたファイル名や Web ページを通じてモデルを誘導できる人なら誰でも、エンジンのあらゆるパラメーターに手が届いてしまいます。

そこで各ツールが受け取るのは、人が選ぶような少数の項目だけにしました。入力ファイル、モジュール、アプリのリストにある出力サイズ、画質の段階、GIF の時間範囲です。ワーカーはそこからあなたが書き出しをクリックしたときにアプリが使うのと同じジョブビルダーで完全なジョブを組み立て、エンジンが実行時に受け付けるパラメーターの約束事に合わせて削ります。

その結果、エージェントが始めたジョブとクリックで始めたジョブは、ビルダーから先は同じコードを通ります。私たちはこれを「同一の出力」ではなく「アプリと同じパラメーターのルール」と表現しています。MCP ではアプリより選択肢が狭いツールがいくつかあるためです。その違いはできることをまとめた記事に一覧があります。

アプリとエージェントでルールの出どころを 1 つに

同じルールのコピーが 2 つあると、いずれずれていきます。KwaFlux はコピーを 2 つ持たないようにしています。

• MCP が提供するモジュールカタログは、各モジュールのルート、設定、使える値も含めて、アプリの画面と同じ設定ファイルから生成されます。写真用のバリエーションは、同じファイルの画像セクションから作られます。
• MCP サーバー向けに、5 つのルールをアプリのソースコードから直接移植しています。出力解像度の段階、圧縮ツールのコンテナとコーデックの選び方、音声ワークスペースのアルゴリズムのパラメーター、AI ボイスチェンジの声のリスト、そして検出ルール 1 つです。
• ずれを検出するテストがあり、これらのルールのアプリ版が変わったのに MCP 版が再生成されていなければ失敗します。

同じ考え方でツールの説明文も小さく保っています。それはツール設計の記事で解説しています。

キューに入れる前にコントロールプレーンがチェックすること

MCP の仕様は、サーバーがすべてのツール入力を検証し、適切なアクセス制御を実装し、ツール呼び出しにレート制限をかけ、ツールの出力をサニタイズしなければならない（"MUST"）と定めています。KwaFlux では、これらのチェックを MCP のスクリプトではなくアプリ側に置いているので、別のクライアントから迂回することはできません。

エージェントが頼れる結果

KwaFlux のツールはどれも出力スキーマを宣言しているので、結果はモデルが解釈しなければならない文章ではなく、ホストが検証できる構造化データです。ホストが進捗トークンを渡せば、KwaFlux はタスクの実行中に進捗の通知を送ります。ユーザーがホスト側で依頼を止めると、KwaFlux は待つのをやめ、エージェントはタスクをキャンセルできます。

タスクの結果が「出力の準備ができた」と示すのは、タスクが実際に成功したときだけで、出力ファイルの名前も返します。キュー待ちのタスクや失敗したタスクが、何かを作り出したと主張することはありません。

この設計が手放したもの

コントロールプレーンの守備範囲は、ツールの範囲までです。KwaFlux の 9 つの機能は、フレームに描く、被写体をクリックする、プレビューを見て判断する、といった人の操作を必要とします。物体除去や空の置き換えなどです。エージェントに座標を推測させることも、生のジョブ記述を受け付けることもできました。前者は誰にも予測できない結果を生み、しかもうまくいったという報告が付いてきます。後者は、この設計を安全にしている境界をなくしてしまいます。そのため、これらの機能はアプリに残し、エージェントにはユーザーをアプリへ案内するよう指示しています。

これは製品としての選択です。ルールを緩めてまで埋めるつもりの欠けではありません。

まとめ

エージェントがアプリを使うのにピクセルを見なければならないなら、エージェントがこれから何をするのかをチェックできません。コントロールプレーンはそれを逆転させます。エージェントは範囲の狭い型付きの言葉で頼み、アプリが自分のコードでチェックし、組み立て、ジョブを実行します。KwaFlux では、そのしくみによって、エージェントが始めた書き出しも、あなたがクリックした書き出しと同じジョブビルダーを通ります。

KwaFlux のローカル MCP サーバーを使うと、Codex、Claude、Cursor などの MCP アプリから、デスクトップアプリに本物のジョブを送れます。AI 処理はご自身の GPU 上で実行され、メディアファイルが処理のためにアップロードされることはありません。Windows 10（64 ビット、バージョン 1809 以降）、Windows 11、Apple Silicon 搭載の macOS 12 以降で動きます。ファイルの読み込みやアプリの操作にアカウントは不要です。ログインと有料プランが必要なのは、書き出し、変換、ファイル修復、リンクからのファイルダウンロードだけです。

KwaFlux を入手 · プランを見る