Category: FAQ-再生

FRep2の再生時に「セキュリティ上、画面共有ではアプリ内容は非表示となります」と表示される場合、Android 15の画面共有の保護機能によりFRep2が画面内容を撮影できないため、再生中の画像認識やスクリーンショットの撮影に失敗します。

Androidの設定 – システム – 開発者向けオプション – 画面共有の保護を無効にする をONにすることで該当のアプリでも画像認識が行われるようになります。

画像認識が成功せず時間切れになる(失敗する)主な原因は「実際の画面内に指定した画像が出ていない」「画面のスクリーンショット撮影に失敗している」のいずれかです。原因の特定と対処法として以下をお試しください。

※Android 15の場合、Android 15で「セキュリティ上、画面共有ではアプリの内容は非表示となります」と表示されるもご確認ください。

認識に失敗したときのスクリーンショットを確認する

1. 画像認識項目の設定で、高度な設定 – 失敗時 スクリーンショット保存 をONにする
   ※保存には FRep2によるストレージ(メディア)アクセス権限が必要です
2. 1.の設定後、その記録を再生して実際に画像認識が失敗することを確認する
3. 再度その画像認識項目の設定で、高度な設定 – 失敗時 スクリーンショットをタップすると失敗時のスクリーンショット画像が表示される

→「画像を開けません」メッセージが表示される: 次節「スクリーンショット撮影に失敗している場合」を参照してください

→ スクリーンショットではなく真っ黒な画像が現れる: 次節「スクリーンショット撮影に失敗している場合」を参照してください

→ スクリーンショットが表示されるが想定していた画面と異なる: 撮影タイミングが異なる場合は、判定時間(目安)を大きくして画像認識の時間を延長するなどして調整してください

→ スクリーンショットが表示されるが認識対象の位置が異なる: アプリが更新されて位置が変わったり、あるいは認識対象の位置が移動しています。右上のリトライ(再)ボタンを押して、認識設定を検索:類似度にして画面内から検索するように変更してみてください。
※もし、出てくる位置が2箇所だけの場合などパターンが少ない(検索するまでもない)場合は、新しく画像認識項目を追加してそれぞれ順番に2箇所を判定してみてください。

→ スクリーンショットが表示されるが失敗する画像に見えない: 成功すべき画像に見えていても、失敗となる原因は「画像データ上の色が異なる」「位置が異なる」ためです。右上のリトライ(再)ボタンを押して、認識設定を完全一致ではなく色の類似度を指定する、既に類似度を指定している場合は類似度の閾値を調整する、検索:類似度を指定してみるなどお試しください。

スクリーンショット撮影に失敗している場合

※スクリーンショットの撮影が禁止されているアプリでは、FRep2だけでなく他のキャプチャ機能を持つアプリや、Android OSも撮影を行えません。その場合は下記の設定を行っても撮影可能にはなりませんので予めご承知おきください。

簡易モード(スクリーンAPI)での撮影に失敗する場合

下記の関連設定をお試しください。

• 画像認識項目の高度な設定 – 初回撮影前に待機: 0.3秒など

• FRep2オプション – スクリーンショット設定 – 取りこぼし補正: スクリーンAPI または すべての手法に適用

精密モードでの撮影に失敗する場合

下記の関連設定を順番にお試しください。

1. FRep2オプション – 精密モード設定 – 撮影失敗時リトライ: ON
2. (Android ~9またはRoot環境のみ) 精密モード設定 – 撮影画像の取得法: 転送
3. (Root環境のみ) システム設定 – 標準UIDを使用: OFF (※解決しなかった場合はONに戻すことを推奨)
4. 問題が解決しない場合、FRep2オプション – 精密モード設定 – 撮影タイプ: スクリーンAPI

※撮影タイプ: スクリーンAPIを指定後にも問題が発生する場合は、前節を参照してください。

再生開始直後のタッチなどが再生されない(FRep2のカーソルは表示されるが反応がない)場合、機器やアプリ側がタッチ入力を受け付けていない状態です。プログラムの編集にて待機項目を追加する、画像認識項目の高度な設定:初回撮影前に待機を指定するなどして、機器やアプリが入力を受け付ける状態まで待ってからタッチが再生されるようにしてください。

※記録の編集画面で再生設定: 最初の待機を省略が指定されている場合、最初の待機項目は無視されます。タップして冒頭の待機も再現を指定してください。

機器やアプリがタッチ入力を受け付けない状態の例

• 再生開始時の画面キャプチャの許可確認の直後 (Android ~9では「今後確認しない」を指定した場合でも発生)
• 機器の負荷が高い場合 (画面遷移が完了していないなど)

画像認識項目やシーン認識は「スクリーンショットの撮影」と「画像認識計算」を行います。より高速な動作を行うにはそれぞれの関連設定をお試しください。

スクリーンショット撮影

再生プロセスのポップアップ通知が表示されている場合、FRep2はその通知を消去してからスクリーンショットを撮影します。ポップアップ通知を表示しない設定として、状態表示設定「再生プロセスの通知: 再生完了のみ(※)」などを指定する、もしくはプログラム内でポップアップしたくない項目のラベルを空にしてください。

また、精密モードでのスクリーンショット撮影ではその手法を変更できます。機器にもよりますが、精密モード設定「撮影タイプ: スクリーンAPI」を設定することで撮影がより高速になります。

手法を変更したことで撮影タイミング自体が早くなりすぎてしまう場合は、画像認識項目「高度な設定 – 初回撮影前に待機」をONにする、シーン認識の場合はスクリーンショット設定「シーン判定直前の待機」を指定してみてください。

画像認識設定

画像認識項目の設定については、計算量が速度に依存します。条件によって異なりますが、完全一致＜一致ピクセル率＜色の類似度の順、検索：完全一致＜検索：色の類似度でより計算量が大きくなります。ただし、アプリ側の描画方法や描画エンジンによって、同一の状況・画像に見える場合も、値は異なるケースがあるため、実際には完全一致や一致ピクセル率が適用できる場面は多くありません。

「完全一致」「一致ピクセル率」「色の類似度」をより高速に行う場合は、認識する矩形のサイズをより小さくする、判別に不要な領域はマスクで塗りつぶすことで計算量を削減できます。

「検索」をより高速に行う場合は、認識対象が現れる可能性のある位置から検索範囲を指定することで計算量を削減できます。また、マスクの指定にはご注意ください。マスクによって個別の比較は高速化されますが、検索に使用する特徴点の都合、特徴点が削減された場合は比較する候補が増加するため、マスク指定では全体の計算量・計算時間が削減されるとは限りません。

Asus Zenfone Max M2, Max Pro M2 (Android 8, 8.1)でFRep2アプリが再生中にエラー終了する場合、ポップアップ通知に関するエラーが発生しています。オプション – 状態表示設定 – 再生プロセスの通知: 表示しない を指定してください。