プログラムの編集

Tags: No Tags

プログラムの編集を利用することで、状況に応じた操作の再生を行うプログラムを作成することができます。複数の操作記録や条件を組み合わせて、より長時間の操作や、再現性の高い操作を作成して利用できます。記録の管理画面でプログラムの項目(黄色ラベルボタン)をタップするか、あるいはプログラム作成ボタンを押すことで、プログラムの編集画面が開きます。

画面の上部(または右上)には記録の管理で選択・作成したプログラムの情報が表示され、左のボタンから順にラベル・表示設定再生・繰り返し設定プレビューをそれぞれ開くことができます。

プログラムのリスト表示FRep プログラムの編集

プログラムは操作記録や条件など複数の項目が並ぶリストとして表示されます。それぞれの項目には#プログラム番号, ラベル, アイコン, 概要, 選択チェックボックスが含まれます。

- #プログラム番号
プログラムは1.番から順に実行されます。ループ条件の範囲や、条件による行き先もプログラム番号で示されます。タップすることで、スキップ状態やブックマークを切り替えることができます(後述)。

- ラベル (灰:操作記録, 緑:条件・制御, 黄:関数)
オプション: 再生プロセスの通知がONの場合には、再生時にラベルが表示されます。ラベルが空の場合、その項目のポップアップ通知は表示されません。

ポップアップUIモードOFF時: タップすることで項目に応じた設定画面が開きます。

- アイコン
操作記録の場合は、記録時のアプリアイコンまたはスクリーンショット(メニュー:画像表示モード ON時)と、右上に再生マークが表示されます。

条件・制御の場合は、項目に応じたアイコンや、設定内容に関するアプリアイコン、また画像認識の場合は認識する画像が表示されます。待機スキップ/園長用パネルを表示 がONの場合は、アイコン右上にオレンジの待機アイコンが表示されます。

ポップアップUIモードOFF時: タップすることで、軌跡を編集画面(操作記録の場合)、設定画面(条件・制御の場合)が開きます。

- アイコン下付マーク
もし項目の再生・実行後に行き先(特定の#プログラム番号, 中断, 完了など 後述)が設定されている場合は、アイコンの左下/右下に該当するマークが表示されます。次へ が指定されている場合、マークは省略されます。
左下(緑マーク): その項目の実行が 完了したとき または条件に 成功したとき の行き先
右下(赤マーク): その項目の条件に 失敗(時間切れ)したとき の行き先

- 概要
再生・待機時間またはタイムアウト時間、その他設定の概要が表示されます。項目の再生順を調整する場合は、この部分を長押ししてから上下にドラッグすることで、項目の順序を変更できます

- 選択チェックボックス
メニュー: 削除, コピーして追加, 切り出し, 有効/スキップ切替, 待機時間を設定 の対象とする項目はチェックをONにしてからメニューを選択します。また、[+]再生 [+]条件 から項目を追加する際には、チェック項目の位置に応じて項目が追加されます

追加する記録を選択操作記録の追加・設定

現在のプログラムに別の操作記録を追加する場合は、[+] 再生 を押して追加する記録を選択します。このとき、チェックされた項目が存在する場合は、その直前の位置に記録が追加されます。追加された項目は独立しており、編集や削除は元の記録やプログラムに影響しません。

記録の数が多い場合は、選択のためのフィルタが表示されます。

左側ボタン: 追加する記録の種類を選択できます。標準では通常の記録およびプログラムが表示されます。明示的に関数を指定することで、関数も追加できます(※)。
アプリアイコン: タップすることで追加する記録のアプリを編集中のプログラムと同じアプリに絞り込みます。
テキストフィルタ: 入力した文字列を含む記録のみに絞り込みます。

また、右端のボタンを押すことで直前のフィルタ条件を呼び出すことができます。

※関数を追加した場合も、独立した項目として追加されるため、追加後の項目の編集や、元の関数の編集はお互いに影響しません。

FRep 操作記録の設定

 

操作記録項目のラベルボタン(灰)を押すことで、設定パネルが現れます。操作のプレビューや編集を行う場合は、アイコンを押して軌跡を編集パネルを開きます。

待機: 操作開始前の待ち時間。右側のボタンを押すとリセットされます。

待機スキップ/延長パネルを表示: ONの場合、待機中にマニュアル制御パネルが表示され、任意のタイミングで待機を省略または延長できます。(詳細は後述)

完了したとき: 実行後の移動先を指定。(詳細は後述)

ラベル: 項目名

 

 

FRep 条件・制御リスト条件・制御の設定

再生に条件や制御を加える場合は、[+] 条件 を押して追加する項目を選択します。ここでは、それぞれの機能と個別の設定を紹介します。共通の設定項目については次節を参照してください。

▼関数呼び出し
あらかじめ保存しておいた関数(プロシージャ)を1つの項目として呼び出すことができます。関数を作成する場合はプログラム編集画面にて、関数として利用する一連の項目をチェックしてからメニューの 切り出し を選択します。切り出された関数は記録の管理関数 タブに保存され、他のプログラムからも呼び出すことができます。

▼ループ/区間
ループ または 区間 の項目をチェックされた項目の最初と最後を囲むように追加します。チェックがない場合は末尾に追加されます。ループでは永久ループ(∞)または指定した回数だけ繰り返しを行います。

繰り返し ~ 回: ループの繰り返し回数 (0で無制限)

折りたたみ / 展開

ループ または 区間 に囲まれた項目は、#プログラム番号をタップして折り畳むことができます。折り畳まれた状態で、移動や内容の一括チェック、削除を行えます。

ループ開始と終了部分で別々のラベルを指定する場合は、ラベル指定欄の右アイコンをタップしてリンクを解除してください。

▼待機
指定した秒数だけ待ちます。

待機: 待ち時間 (秒)

▼アプリ待ち
設定したアプリ情報と、実行中のアプリ情報が一致するまで待ちます。デフォルトでは1秒間隔で6回判定を行い、最大で5秒待ちます。

アプリ(パッケージ): アプリが一致すると成功と判定 (粗い判定)
クラス(より詳細): アプリだけでなくクラス(Activity)も一致すると成功と判定 (より厳密)

▼画面向き
設定した画面の向きと、再生中の画面の向きが一致するまで待ちます。デフォルトでは1秒間隔で6回判定を行い、最大で5秒待ちます。

画面の向き: 0°、90°、180°、270°、0°,180°、90°,270°
※角度の基準0°は機器標準の向き

▼画像認識
現在のスクリーンショットと、指定した画像の領域が一致するまで、または指定した画像を含む領域が見つかるまで待ちます。デフォルトでは10秒間、スクリーンショットの撮影と判定を繰り返します。

※連続して実行される画像認識が割り込み中断によって停止する場合、その画像認識の前に0.5秒程度の待機を追加してください

FRep 画像認識設定認識する画像を選択/現在のリストから選択: 操作記録に含まれるスクリーンショットから画像を選択
認識する画像を選択/画像ファイルから選択: bmpまたはpng形式のファイルからスクリーンショットを選択(※)
※画像ファイルはスクリーンサイズと同一である必要があります。また、画像の向きを指定する必要があります。

- 認識する範囲を指定/範囲を編集: From (左, 上) To (右, 下)

背景または矩形をドラッグ: 認識範囲の位置を調整
ピンチイン/ピンチアウト: 認識範囲の大きさを調整。2点タッチの開始位置によって幅のみ/高さのみ調整できます。

- 認識する範囲を指定/マスク編集: 塗りつぶし/消去, 四角/楕円/正方形/円

1点タッチ/ドラッグ: タッチ位置に対してマスク領域(※)を塗りつぶし/消去
2点タッチ/ドラッグ: 選択した形状でマスク領域(※)を塗りつぶし/消去
マスク領域は画像認識には使用されない部分です

FRep 画像認識 制御設定

認識する画像は、元画像が残っていれば制御設定の画像を編集 ボタンから再編集できます。

完全一致: 領域中の全ての位置の色が一致すると成功
一致ピクセル率: 領域中の同一色の割合が指定の割合より大きい場合に成功
色の類似度: 色の差から算出された類似スコアの割合が指定の割合より大きい場合に成功
検索:完全一致: 指定領域と一致する画像が現在のスクリーンショット内に存在すると成功し、一致した位置を保持 ※複数一致した場合は最初に一致した領域のみを使用
検索:類似度: 指定領域に類似(縁点の分布および色の類似度)する画像が現在のスクリーンショット内に存在すると成功し、一致した位置を保持 ※複数存在した場合は最も色の類似度が高い領域のみを使用/検索範囲の設定を推奨

スクリーンショットを撮る: 新しくスクリーンショットを撮影して判定。OFFにした場合、直前のスクリーンショット(他の画像認識項目やスクリーンショット項目で撮影されたもの)に対して1度だけ判定を行います。

成功時に認識領域中央をタップ: 成功時、指定した画像認識領域または検索で発見した領域の中央位置をタップ (非RootかつAndroid4.0以前の機器ではタッチ情報の取得が必須)

次の待機を省略/成功時: 画像認識に成功した場合、次の待機時間をスキップ
次の待機を省略/失敗時: 画像認識に失敗した場合、次の待機時間をスキップ

右上のテスト ボタンを押すことで、現在の設定を別のスクリーンショット画像に対してテストできます。ファイルリストからディレクトリを選択することで複数の画像を一括テストできます。

下端の 画像を編集 ボタンから、各種条件はそのままに参照する画像や範囲を変更できます。

▼アプリ起動
この項目の再生時に、指定したアプリまたはショートカットをFRepから起動します。

タスク履歴/全てクリア: 既存の同一アプリのタスクを消去してから起動するフラグを指定(デフォルト)
タスク履歴/トップ入れ替え: 既存の同一アプリのタスクのうち最近の同一タスクを入れ替えて起動するフラグを指定

▼アプリ終了
この項目の再生時に、指定したアプリを終了します。次にアプリを起動するとき、前回の状態からは復帰せず、最初から実行されます。終了するアプリが現在のアプリの場合は、ホームアプリに移行します。

強制終了: ホームアプリを含むアプリを強制的に終了

▼キー操作
この項目の再生時に、機能キーを押す操作を実行します。

キー操作: Home, Back, Menu, Enter, PageUp, PageDown, Space, (arrow key), VolumeUp, VolumeDown, VolumeMute, メディア再生, メディア記録, メディア一時停止, メディア停止, 次のメディア, 前のメディア, 早送り, カメラ, フォーカス, Search, (カーソル)Home, (カーソル)End, Tab, ESC, BS, Del.
押下後の待ち時間: 0.3秒~

▼タッチ操作 (非RootかつAndroid4.0以前の機器ではタッチ情報の取得が必要)
この項目の再生時に、指定した位置をタップします。FRep タッチ操作 制御設定

タッチの基準画像を選択/現在のリストから選択: リスト内の操作記録に含まれるスクリーンショットから画像を選択
認識する画像を選択/画像ファイルから選択: jpgまたはpng形式のファイルからスクリーンショットを選択(※)
画像なし(手入力): 設定画面で座標を手入力する場合に選択
※画像ファイルはスクリーンサイズと同一である必要があります。また、画像の向きを指定する必要があります。

タッチする位置を指定: 位置をタップ/スワイプ、または緑の点をドラッグして指定
タッチ操作の種類を指定: タップ/長押し/ダブルタップ/スワイプ(※)を選択
長押し、ダブルタップ、スワイプの実行にはタッチ情報の取得が必要です

(X, Y): 機器標準の向きにおける左上を(0,0)とした座標
操作後の待ち時間: 最小0.04秒 (要タッチ情報の取得)
画像検索の結果を使用: ONの場合、画像認識の結果を(0,0)として(X,Y)座標が加算された位置をタップ

▼キー入力
この項目の再生時に、指定したキーボード入力を行います。この機能はキータイピングを行うもので、指定した文字列がそのまま入力されるものではありません。特定の対象に文字列を入力する用途の場合は、その対象を選択した上で、この項目にIMEなどの制御を考慮したキー入力内容(確定のためのEnterなどを含む)を指定してください。

キー入力: タイプするキー列(キーボード上の文字に限定)。

▼クリップボード (※Android 4.3では非推奨)
この項目の再生時に、指定した文字列をクリップボードに設定します。

クリップボード: 指定する文字列(文字種の制限なし)

▼スクリーンショット撮影
この項目の再生時に、スクリーンショットを撮影し、指定したフォルダに保存します。

保存先を選択: スクリーンショットの保存先

接頭名: ファイル名の接頭部分。(接頭名)-(日付)-(時刻).png ファイルとして保存されます。
回転/変換せず保存(高速): ONの場合、スクリーンショットの過程に画面の向きによる回転やフォーマット変換を含めずに保存します。
保存しない: ONの場合、撮影したスクリーンショットはファイルに保存されません。撮影と画像認識を分けて登録する(続いてスクリーンショットを撮る:OFF設定の画像認識を行う)ための項目です。

▼バイブ通知
この項目の再生時に、機器をバイブレーションさせます。

タイプ: 振動タイプを1,2いずれかから選択

▼変数, IF文
変数を使用して再生中の状態を保持・条件分岐を行います。詳細はプログラム再生ログ/変数リファレンスを参照してください。

FRep 共通設定共通設定について

操作記録、条件・制御に共通する設定として、実行後の行き先の指定やマニュアル制御パネルの表示、ラベルの設定があります。行き先は#プログラム番号 (特定の番号へ移動), 中断 (中断として再生を終了), 次へ (次の番号へ移動), 完了 (再生完了として終了)のいずれかです。

成功したとき/完了したとき: 判定に成功したときの移動先を指定。デフォルトは 次へ。項目のアイコン左下に緑色のマークで表示されます。

失敗(時間切れ): 指定した秒数の間、判定に成功しなかった場合の移動先を指定。デフォルトは 中断。項目のアイコン右下に赤色のマークで表示されます。

成功/失敗については[変数をセット]を選択することで、それぞれの場合に変数を設定することもできます。

スキップ/延長用パネルを表示: ONの場合、この項目の処理中にマニュアル制御パネルが表示されます。詳細は次節を参照してください。

ラベル: この項目の名前。

ポップアップメニュープログラム編集ポップアップ

ポップアップUIモードがONの場合、リスト内の項目をタップすることで設定、プレビュー、軌跡の編集、間隔の調整、分割、削除のためのメニューが現れます。

設定: 制御設定を開きます。

プレビュー/軌跡の編集: プレビュー画面または軌跡の編集画面を開きます。

操作間隔の調整: 操作間隔の調整を開きます。

軌跡を分割: 軌跡を分割を開きます。

チェック位置にコピー (1項目チェック時): あらかじめチェックした1項目の直前にこの項目をコピーします。

チェック位置に区間内容をコピー (1項目チェックおよび畳んだ区間をタップ時): あらかじめチェックした1項目の直前にこの区間の内容をコピーします。

この項目を削除: リストから項目を削除します。※実際にデータが削除されるのはアプリ変化またはメニューの保存を選択した時です。

FRep ブックマーク/スキップスキップ/ブックマーク,マニュアル制御パネル

#プログラム番号をタップすると、その項目の状態を標準またはスキップに変更できます。長押しすることでブックマークを指定できます。

▼標準
再生時に実行される項目です。

▼[スキップ] (グレーアウト/番号打ち消し線)
再生時に実行されない項目です。削除せずにプログラムの動作から除く場合に利用できます。

▼[ブックマーク] (背景矢印)
下記マニュアル制御パネルで移動先として登録される項目です。

スキップ設定を一括して切り替える際には、設定する項目をチェックしてからメニュー: 有効/スキップ切替 を選択します。

自動分割モードで記録した場合、自動生成されるプログラムの画像認識項目は[スキップ]状態に設定されています。

FRep マニュアル制御パネル

プログラムの再生中、スキップ/延長用パネルを表示: ON が設定されている項目の待機・判定中には、マニュアル制御パネルが現れます。このパネルでは、待機時間のスキップや成功/失敗の指定、判定時間の延長、ブックマーク項目への移動が行えます。

パネルはFRepフローティングパネル同様に2つのボタンから構成され、同様の操作で利用できます。

▼パネル上ボタン [制御操作の選択]
再生中の項目名が表示されます。もし画像認識項目の場合は、ボタン背景に認識する画像が表示されます。タップやフリック操作で、下ボタンに表示される制御の内容が切り替わります。

▼パネル下ボタン [制御操作の実行]
タップすることで表示されている制御内容を実行します。また、ドラッグすることでパネルの位置を移動できます。

Skip(OK): 現在の待機・判定をスキップし、成功判定とする (初期状態)

Skip(NG): 現在の待機・判定をスキップし、失敗判定とする (上ボタンのタップにより切替) FRep マニュアル制御の選択

中断: 再生を中断する (上ボタンのダブルタップにより切替)

(ブックマーク項目): 選択された項目へ移動して再生を継続 (上ボタンをフリックして選択)

判定時間の延長: パネル上ボタンを一度タップまたはフリックすると、上ボタンには一時停止アイコンが表示されます。この状態では待機時間・判定時間(判定回数)が延長され、判定が成功するまで継続されます。この状態を解除するには、再度上ボタンをタップします。

FRep 待機/操作時間を調整操作間隔の調整

待機/操作間隔の時間を指定/加減します。タップして現れるポップアップはタップした項目のみを調整します。複数の項目を一括して調整する場合は対象をチェックし、メニューから操作間隔の調整を選択します。

(符号と時間): 時間と調整内容[延長(+), 短縮(-), 一致(=)]を指定します。

調整対象の条件を指定: ONの場合、調整する対象を下記の条件で絞り込みます。OFFの場合は全ての待機/操作間隔を調整します。

範囲条件セット: 対象とする時間条件をプリセットから指定できます。カスタム (最後の条件を利用)、2秒以上 (2秒以上のみを対象として調整), 2-10秒 (2~10秒のみを対象として調整), 2秒以下 (2秒以下のみを対象として調整), すべて (時間を条件としない)

(下限)秒 ≤ (対象): 下限値より短い待機時間/間隔は調整されず無視されます。

(対象) (上限)秒: 上限値より長い待機時間/間隔は調整されず無視されます。

待機時間, 操作間隔: 待機時間 がONの場合、操作記録の最初の待ち時間および待機項目の待ち時間を対象とします。操作間隔 がONの場合、ストローク間の待ち時間を対象とします。

軌跡を編集FRep 軌跡の編集

操作記録のプレビューおよびタッチ操作の編集を行います。タッチ操作はストローク単位(タッチ開始から全ての指を離すまで)に分割され、緑の点と向きを示す三角形で描画されます。

タッチ操作を編集する場合は、下部のスライダで編集対象とするストローク範囲を指定してから、ドラッグまたは編集メニューを開いて位置や待ち時間、ストローク間の操作間隔の変更、または必要な操作の切り出しや分割を行います。終了/保存する場合は、画像をタップするか戻るキーを押します。保存時、編集された操作記録は元の記録とは別に保存され、また元の記録には[スキップ]が設定されます

▼下部スライダ [表示/編集対象を選択]

スライダは操作記録の時間を幅としており、左右の三角のつまみをドラッグすることで表示/編集対象とするストロークを選択できます。また、右上の操作パネルのうち<<前/次>>を押すことでそれぞれのストロークを選択できます。

選択範囲内の色: 各ストロークは 操作までの待ち時間(青)タッチ操作時間(緑) から構成されます。

▼画像上でのドラッグ操作 [選択ストロークの移動]FRep 軌跡の編集 ストローク選択
画像上でドラッグ操作することで、選択したストロークがドラッグ方向に移動します。
※移動量はタッチデバイスの分解能に依存します。

▼左上タイトルのタップ [選択ストロークの待ち時間調整/切り出し]
左上のアイコンやメッセージをタップすることで編集メニューが開きます

最初の待ち時間を調整: 選択中のストロークのうち、最初の待ち時間のみを設定

範囲内の待ち時間を調整: 選択中のストローク全ての待ち時間を設定

選択中の軌跡を切り出し: 選択中のストロークのみを残す

右上3ボタン操作パネル <<前/中断・再生・停止/次>>
<<前/次>>: 前または次のストロークを選択。先頭の項目で前、または末尾の項目で次を押すと全体を表示します。

中断(四角アイコン): 描画された軌跡を全て消去。

再生(三角アイコン): プレビューの再生を開始。

停止(橙停止アイコン): プレビューの再生を停止。

※再生中に左上のアイコンをタップすることで再生速度を1x(等倍)から2x, 3x, 5x, 10x(10倍)まで変更できます。

メニュー

▼保存
現在の状態を保存します。※画面遷移やスリープ時には自動で保存が行われます。

▼読込
保存された状態を読み込みます。

▼切り出し
一連のチェック項目を関数として保存します。関数はどのプログラムからも関数呼び出しの1項目で呼び出せます。※切り出した関数は記録の管理画面の関数タブに保存されます。

▼削除
チェック項目を削除します。※保存時に実際にデータが削除されます。

▼コピーして追加
チェック項目をコピーして現在のプログラム末尾に追加します。

▼ラベルを消去
チェック項目のラベルを全て空にします。ラベルが空の項目は、再生時のポップアップ通知が省略されます。

▼有効/スキップ切替
チェック項目のスキップ/標準状態を切り替えます。

待機/操作間隔を調整
チェック項目のうち、操作記録の最初の待ち時間、待機項目の待ち時間、および操作に含まれるストローク間の間隔を指定/加算/減算します。

▼すべて選択/選択解除
全ての項目をチェック/チェック解除します。

▼再生ログを表示 (要アンロックキー)
現在のプログラムが最後に再生されたときの終了時の状態を表示します。詳細はこちら

▼画像表示モード
ONにした場合、操作記録の項目についてアプリアイコンの代わりにスクリーンショットを表示します。
※スクリーンショットがない記録の場合はアプリアイコンを表示します。

▼最終マッチをプレビュー表示
ONにした場合、最後の再生時に一致した画像をプレビュー内に表示します。

▼区間をインデント表示
ONにした場合、ループや区間に囲まれた項目をインデント表示します。

▼区間を付加
ONにした場合、項目数の多いプログラムを追加する際、自動的に前後に区間を付加します。

小型項目モード
プログラム編集および 記録の管理画面でのリスト項目サイズを切り替えます。ONの場合、小型のリスト項目が表示されます。

Tips

– 特定の項目について、再生中のポップアップを表示させない場合は、その項目のラベルを空にして保存してください。

– 記録モード: 自動分割 では、記録中、意図的に操作をせずに記録を分割させることで、分割に応じた画像認識・アプリ待ち・画面向き項目を含むプログラムが作成されます。生成された項目のうち、画像認識は[スキップ]設定で登録されているため、必要分だけ解除して利用できます。

アプリ起動 項目がそのアプリのプロセスを増殖させてしまう場合、タスク履歴/トップ入れ替え 設定に切り替えてみてください。ランチャーActivityと実際のメインActivityが異なるアプリの場合にこの問題が発生することがあります。

– 画像認識で(switch ~ case様の)複数の分岐を行いたい場合は、まずスクリーンショット撮影を配置し、続いて複数の画像認識(スクリーンショットを撮る:OFF)を追加し、それぞれの 成功したとき: に分岐先を指定する形で実現できます。もし何度か試行回数が必要な場合は、追加した一式の先頭と末尾の項目をチェックして、ループ開始を追加してください。

– 長いプログラムを作成するときには、次の機能の利用を推奨します。関数 (切り出しメニュー/関数呼び出し項目), 標準/スキップ/ブックマーク切替, 再生ログを表示 メニュー。また、プログラム冒頭に待機項目を追加し、その設定 スキップ/延長用パネルを表示 :ON にしておくことで、再生時にマニュアル制御パネルで任意の項目から再生テストを行えます。Androidの設定 → 開発者向けオプション → タップを表示 もお忘れなく。

タッチ操作にマイナスの座標を指定すると、機器のサイズに座標を足した位置をタップします。例えば(-1,-1)を指定すると右下端をタップする操作になります。

– ポップアップUIモードや削除時の確認設定は記録の管理画面と共通です。変更する場合は記録の管理のメニューから設定してください。

– 画像認識などで外部SDカード内のスクリーンショット画像を参照する場合は、ファイル一覧の「上へ」を何度か押して現れる「切替」ボタンを押して外部SDカードに移動できます。

– ファイル選択リストでソートボタンを長押しすると、ファイル名の省略部分を切り替えられます。

Comments are closed.