[画像認識 / Tips] 置換

状態, タグ色, ラベル, 後処理

設定画面上部のアイコンをタップすると、状態を指定できます。

標準の状態を指定

スキップ状態(再生されない)を指定

ブックマーク状態(行き先指定の優先項目)を指定

シーン認識 この画ならここから再生 の設定

---

ラベル

各アイコンをタップしてリスト内でのタグ色や表示名を指定できます。

タグ色を指定 (デフォルト: 左上の透明)

ラベル編集を開始

---

後処理

成功したとき / 失敗(時間切れ)

画像認識の成否に応じてプログラムの行き先を指定できます。

タップして開いた後、次へ、中断、完了、任意の項目を選択するか、あるいは左側に表示されている項目リストをタップして行き先を指定します。

---

画像認識

関連Tips動画(リストはこちら)
#3 大作にはシーン認識, #4 画像認識の自動生成, #5 速さをもとめて, #6 速さをもとめないで, #9 綺麗に切り抜こう

画面のスクリーンショットを撮影し、指定した画像と一致するかを判定して画像が現れるまで待ちます。一致しなかった場合は、指定した判定時間内であれば再度撮影と判定を行います。待たずに一度のみ判定する場合は判定時間を0秒に設定すると一度だけ実行されます。

新規に作成した場合は、認識対象を指定画面が開きます。

---

参照画像

認識する対象画像の矩形サイズを [対象画像の幅 x 高さ] in [機器の画面幅x画面高さ]、矩形の位置を画面内の中心座標として表示します。

※座標系は機器標準の向きでの画面左上を(0,0)とし、左右がX軸(0~画面幅)、上下がY軸(0~画面高さ: プラス値が下方向)です。

画像を編集 認識する対象画像を編集する認識対象を指定画面を開く

---

認識設定

アプリや機器の状態によっては完全に同一の画像が表示されない場合があります。認識成功の条件を指定することで細かいずれや色の差があっても成功とする設定ができます。

色の類似度 画面内における指定位置の画像と対象画像との色の類似度で一致するかどうかを判定します。類似度100%は完全一致と同一です。

一致ピクセル率 画面内における指定位置の画像と対象画像の各画素を比較し、一致率(同一の画素数の割合)で一致するかどうかを判定します。一致率100%は完全一致と同一です。

完全一致 画面内における指定位置の画像と対象画像が完全に同一の場合のみ一致と判定します。

検索:類似度 対象画像との類似画像を画面内から検索し、色の類似度で一致するかどうかを判定します。検索範囲 複数マッチ時の優先条件 を指定できます。

検索:完全一致 対象画像と完全に一致する部分を画面内から検索します。検索範囲 複数マッチ時の優先条件 を指定できます。

設定をテスト 現在の認識設定を任意のスクリーンショット画像に対してテストします。画像ファイルから選択する場合にはストレージ権限が必要です。テストが失敗した場合、元の画像を参照したり、別の手法や閾値%で再試行できます。

認識領域の中央をタップ 認識成功時、一致した枠の中央を1度タップします。(精密モードの場合はタッチ情報の取得が必要)

• タップのタイミングをずらしたい場合、トグル左側のボタン部分をタップして 成功後: 0.5秒 のように秒数を指定します
• タップする位置をずらしたい場合は、下記の高度な設定 タップ位置を調整 を指定してください

---

高度な設定

参照画像をファイルパス指定 (Unlock Key導入済の場合のみ) 設定されている場合、画像認識の実行時にまずファイルから該当パスのスクリーンショットを読み込んで設定された矩形・マスクに基づき画像認識を行う。

タップ位置を調整 (認識領域の中央をタップ指定時のみ)中央からずれた位置をタップさせる場合、その差分座標(±X, ±Y)を指定。

スクリーンショットを撮る 画像認識の実行時に画面スクリーンショットを撮影する。OFF時は撮影せず、また判定時間の設定に関わらず、直前の画像認識やスクリーンショット項目で撮影されたものに対して画像認識を1回だけ判定する。

初回撮影前に待機 直前の操作結果などの反映を指定した秒数待ってから撮影処理を開始する

成功時:失敗時:次の待機 画像認識の成功または失敗時、次の待機(操作の再生待ち時間・待機項目)をスキップ・上書きする

• 次の待機を省略 (右側のトグルをタップ、または0秒を指定): 次の待機時間を無視してすぐに操作を行います
• 次の待機 (左側ボタン部分をタップして秒数を指定): 次の待機時間設定を無視して、指定した時間だけ待機します

成功時 失敗時 スクリーンショット保存 画像認識の成功または失敗時、指定した場所に判定したスクリーンショットを保存する。
想定と異なる結果だった場合に指定しておくことで、次回発生した後にこのボタンをタップして保存された画像と画像認識の判定を確認できます。

---

判定時間(目安)

判定時間(目安) を押して秒数を変更します。撮影と認識にかかる時間によっては時間切れまで指定した判定時間より長い時間がかかる場合があります。

パネルを表示 ONの場合、画像認識中に制御パネルを表示します。

---

認識対象を設定

スクリーンショット画像を基に、画像認識する対象を指定します。

認識対象はデフォルトでスミレ色の枠の内部です。枠はドラッグやピンチ操作で直接移動やサイズ変更を行えます。

灰色の市松模様の背景はマスク部分を示します。枠内でマスクが指定されている部分は画像認識の計算に使用されません。認識したいものが四角ではない場合は背景部分をマスクするなど、任意の部分だけを認識対象に指定できます。

From: (左上座標) To: (右下座標) 現在の枠の座標(機器標準の向き基準)です。上部の各±ボタンをタップ・フリックして値を調整できます。

表示を拡大・ズームイン / 縮小・ズームアウト

枠の中心にフォーカス

枠の色を変更

リセット 枠の座標とマスクの両方を最初の状態に戻す

適用 現在の設定を適用して閉じる

メニュー – マスク編集 枠内部のうち画像認識の判定に使用しない部分を指定する認識対象のマスクへ移行する

メニュー – 画像を変更 基にするスクリーンショット画像を現在のリストから(記録に画像が含まれる場合のみ)または画像ファイルから(要ストレージ権限)選択して入れ替える

---

認識対象のマスク(除外部分)

認識したいものが四角ではなく背景を除外したい場合など、枠内の一部を除いて画像認識したい場合は不要な部分をマスクします。マスクされた部分は透明(編集中は背景の市松模様)に表示されます。

マスクを指定 /マスクを消去 (タップで切替)

マスクのサイズ /色域指定 (タップで変更)

ピンチ(2点タッチ)操作時の塗りつぶし形状 (タップで変更)

元に戻す 編集したマスクを1つ前の状態に戻す (長押しで最初の状態に戻す)

適用 現在の設定を適用して閉じる

メニュー – 矩形を編集 枠の座標を調整する認識対象を指定に戻る

メニュー – 画像を変更 基にするスクリーンショット画像を現在のリストから(記録に画像が含まれる場合のみ)または画像ファイルから(要ストレージ権限)選択して入れ替える

---

複数マッチ時の優先条件

検索時、画面内(または検索範囲内)に複数の対象がマッチした場合でも、結果はいずれか1つのみです。

デフォルト設定では、最初にマッチしたもの、またはマッチした候補のうち最も類似性が高いものが選択されます。基準は画像認識の内部処理によって異なります。

複数マッチした際、位置で結果を優先したい場合は優先条件を指定してください。

デフォルト 最初にマッチしたもの、またはマッチした候補のうち最も類似性が高いものを結果とする

(縦軸のみ条件) 検索範囲内の最も上部、縦中央、最も下部にあるものを結果とする

(横軸のみ条件) 検索範囲内の最も左、横中央、最も右にあるものを結果とする

(座標条件) 検索範囲内の端または中央に最も近いものを結果とする

※縦軸、横軸、端の基準は機器標準の画面向きです。

---

Tips

– より高速な画像認識を行いたい

• 精密モードの場合は、オプション – 精密モード設定の 撮影タイプ: スクリーンAPIを指定することでより高速なスクリーンショット撮影が行われます。

• オプション – 状態表示設定の 再生プロセスの通知: 再生完了のみ (または表示しない)などを指定することで通知が表示されないため通知の消去を待たずにスクリーンショット撮影が行われます。通知が必要な場合は、変数項目を作成して1つの変数に通知内容をセットし、ポップアップ通知に変数を指定(toast:var など)することで別途通知が表示されます。

• 画像認識の設定については、計算量が速度に依存します。条件によって異なりますが、完全一致＜一致ピクセル率＜色の類似度の順、検索:完全一致＜検索:色の類似度でより計算量が大きくなります。ただし、アプリ側の描画方法や描画エンジンによって、同一の状況・画像に見える場合も、内部的に異なるケースがあるため、実際には完全一致や一致ピクセル率が適用できる場面は多くありません。
• 「完全一致」「一致ピクセル率」「色の類似度」をより高速に行う場合は、認識する矩形のサイズをより小さくする、大きな画像部分を認識対象とする場合は対象内の判別に不要な部分をマスクで塗りつぶすことで計算量を削減できます。
• 「検索」をより高速に行う場合は、現れる可能性のある検索範囲 を指定することで大幅に削減できます。また、マスクの指定にはご注意ください。マスクによって個別の比較は高速化されますが、検索に使用する特徴点の都合、マスクによって比較する候補が増加するため、全体の計算量が削減されるとは限りません。

---

置換 (要Unlock Key)

アプリが更新されて画像認識の対象部分が変化した場合など、手軽に対象部分のみを置換できます。

必要な操作パネル設定: 中断プログラムの再開, 撮影ボタン, 撮影時に画像認識を置換

画像認識の内容を差し替えたい画面で再生を中断すると、パネル上のShot の代わりに置換 が利用可能になります。差し替え後、元の対象部分をもつ項目はスキップ状態で保持されます。

左側には置換前(現在)の画像認識の設定対象、右側には同じ範囲・マスク設定での置換結果が表示されます。

閉じる 画像認識はそのままで、置換せずにこの画面を閉じる
長押しすると撮影したファイルを削除して閉じる (間違った画面を撮影した場合に)

置換して編集 画像認識の内容を差し替えてプログラムの編集画面を開く
長押しすると差し替えてこの画面を閉じる (後で編集する場合に)