文字認識(OCR)

[文字認識(OCR)] [Tips] [解説動画]

状態, タグ色, ラベル (共通設定)

設定画面上部のアイコンをタップすると、状態を指定できます。

標準の状態を指定

スキップ状態(再生されない)を指定

ブックマーク状態(行き先指定の優先項目)を指定

シーン認識時に、どのシーンにも一致しなかった場合の開始項目に指定


ラベル

各アイコンをタップしてリスト内でのタグ色や表示名を指定できます。

タグ色を指定 (デフォルト: 左上の透明)

ラベル編集を開始


文字認識(OCR)

参考動画 ちょっとTips FRep2 数字で分岐しよう(OCRとIf分岐)

画面のスクリーンショットを撮影し、指定した範囲の数字と一部記号を認識して変数に格納します。

新規に作成した場合は、文字認識範囲(1行)を指定画面が開きます。


OCR設定

文字認識する対象画像の矩形サイズを [対象画像の幅 x 高さ] in [機器の画面幅x画面高さ]、矩形の位置を画面内の中心座標として表示します。その他のOCR設定内容も併記されます。

※座標系は機器標準の向きでの画面左上を(0,0)とし、左右がX軸(0~画面幅)、上下がY軸(0~画面高さ: プラス値が下方向)です。

画像から指定 認識する対象を設定するタップして文字色等を設定画面を開く

現在の設定概要(OCR向き、文字色)

現在の閾値設定: デフォルト または エッジ検出, エッジ検出(文字) 文字認識%, フォント

最大桁数 文字認識の最大文字数(記号を含む)

文字間隔 次の文字との間隔が指定値より大きければ文字認識計算を終了する (指定枠の高さを基準に割合指定.デフォルトは2/3)

設定をテスト 現在の設定を任意のスクリーンショット画像に対してテストします。画像ファイルから選択する場合にはストレージ権限が必要です。


高度な設定

スクリーンショットを撮る 文字認識の実行時に画面スクリーンショットを撮影する。OFF時は撮影せず、また判定時間の設定に関わらず、直前の画像認識、文字認識、スクリーンショット項目で撮影されたものに対して文字認識を1回だけ判定する。

初回撮影前に待機 直前の操作結果などの反映を指定した秒数待ってから撮影処理を開始する

成功時 失敗時 スクリーンショット保存 文字認識の成功または失敗(認識結果なしまたは数値として代入指定時に数字以外が混入)時、指定した場所に判定したスクリーンショットを保存する。
想定と異なる結果だった場合に指定しておくことで、次回発生した後にこのボタンをタップして保存された画像と画像認識の判定を確認できます。


変数設定

計算結果の格納先である変数と、必要に応じて格納前の処理内容を指定します。

数値として代入 ONの場合、得られた文字を数値に変換して数値型として変数に格納します。※記号などで数値の変換に失敗した場合は失敗し、空/無効な文字の後処理を行います

[,.]処理 結果の格納や数値変換の前に、文字認識結果に含まれる , (comma) . (dot/period) 文字を処理します。

;:処理 結果の格納や数値変換の前に、文字認識結果に含まれる ; (semicolon) : (colon) 文字を処理します。


後処理

成功したとき, 空/無効な文字

文字認識の成否に応じてプログラムの行き先を指定できます。文字を認識できなかった場合、あるいは数値として代入を指定時に数値変換に失敗した場合には空/無効な文字の処理が行われます。

タップして開いた後、次へ中断完了任意の項目を選択するか、あるいは左側に表示されている項目リストをタップして行き先を指定します。


文字認識範囲(1行)を指定

スクリーンショット画像を基に、文字認識する対象を指定します。

認識対象はデフォルトでスミレ色の枠の内部です。枠はドラッグやピンチ操作で直接移動やサイズ変更を行えます。

灰色の市松模様の背景は画像の外もしくはマスク部分を示します。枠内でマスクが指定されている部分は画像認識の計算に使用されません。認識したいものが四角ではない場合は背景部分をマスクするなど、任意の部分だけを認識対象に指定できます。

From: (左上座標) To: (右下座標) 現在の枠の座標(機器標準の向き基準)です。上部の各±ボタンをタップ・フリックして値を調整できます。

表示を拡大・ズームイン / 縮小・ズームアウト

枠の中心にフォーカス

枠の色を変更

リセット 枠の座標とマスクの両方を最初の状態に戻す

次へ タップして文字色等を設定に移行する

適用 現在の設定を適用して閉じる

メニュー – 文字設定 タップして文字色等を設定に移行する

メニュー – マスク編集 枠内部のうち画像認識の判定に使用しない部分を指定する認識対象のマスクへ移行する

メニュー – 画像を変更 基にするスクリーンショット画像を現在のリストから(記録に画像が含まれる場合のみ)または画像ファイルから(要ストレージ権限)選択して入れ替える


タップして文字色等を設定 (文字設定)

対象文字の色、向き、最大幅、閾値などを設定します。

画像をタップすると文字色を指定できます。2本指でピンチ操作を行うと認識する文字の最大幅を設定できます。

現在の設定概要(OCR向き、文字色)

文字色 (このアイコンをタップして消去, 画像内タップで色指定)

(タップしてOCR向きを回転)

OCR認識方向 RTL:右端から← LTR:左端から→ (タップして切替)

文字幅自動認識 / 文字幅自動+最大幅設定が存在 (このアイコンをタップして切替, 画像内ピンチ操作で最大幅指定)

テスト 現在の画像でOCR計算を行い経過(右下)と結果を表示


標準設定でうまく認識できない場合 Tips

文字認識範囲の枠は、文字ぴったりではなく余裕を持たせることで認識精度が改善されます。
※余白を指定すると文字色と同じ色が枠内に入ってしまう(同色のウィンドウで囲まれているなど)場合は、マスクを指定してみてください。

余分な認識が発生したり、別の数字が認識される場合などには、右上のボタンから文字認識に関するパラメータを調整できます。

エッジ検出 認識計算に使用する縁検出の閾値(大きくすると縁は少なくなります)

エッジ検出(文字) 文字枠認識に使用する縁の閾値(大きくすると縁の濃い部分のみを文字とみなします)

文字認識 文字形状認識の閾値(大きくすると厳しくなります)

フォント 認識対象とする文字形状のタイプ(デフォルトはすべて対象) Serifのみ/Serifなし, Popのみ/Popなし, Slashed Zeroのみ/Slashed Zeroなし

分割法 複数の文字が結合して表示されている場合の分割手法 標準, 最大幅のみ, なし

背景が混入する場合 .. 「文字色を指定する」「エッジ検出」「エッジ検出(文字)」を調整してみてください

細い文字や小さい文字が認識されない場合 ..「エッジ検出(文字)」を低くする、あるいは「文字色なし(文字色アイコンをタップ)」「文字色に背景色を指定」すると認識できる場合があります

太い文字が正しく認識されない場合 .. 「エッジ検出」を高くする、「フォント」を絞り込む(Popのみ、Slashed Zeroのみ)と認識できる場合があります

角張った文字が正しく認識されない場合 .. 「エッジ検出(文字)」を低くする、「フォント」を絞り込む(Serifなし、Pop、Slashed Zeroなし)と正しく認識できる場合があります

装飾が多い文字(セリフが極端など)が認識されない場合 .. 「文字色なし(文字色アイコンをタップ)」にすると認識できる場合があります

複数の文字が結合して表示されている場合 .. 「分割法: 最大幅のみ」を指定し、さらに設定画面上でピンチ操作を行って1文字の最大幅を設定し、適切な分割が行われるよう調整してみてください

細いフォントの0など、1文字が複数に分割されている場合 .. 「エッジ検出(文字)」を96などに下げてみてください

Serifフォントの3が8と認識される場合 .. 「フォント」をSerifのみとした後、認識されない文字があればさらに「文字認識」を下げて80~90などにしてみてください


認識対象のマスク(除外部分)

認識範囲に文字色と同じ文字ではないものが含まれる場合など、枠内の一部を除いて文字認識したい場合は不要な部分をマスクします。マスクされた部分は透明(編集中は背景の市松模様)に表示されます。

マスクを指定 /マスクを消去 (タップで切替)

マスクのサイズ /色域指定 (タップで変更)

ピンチ(2点タッチ)操作時の塗りつぶし形状 (タップで変更)

元に戻す 編集したマスクを1つ前の状態に戻す (長押しで最初の状態に戻す)

適用 現在の設定を適用して閉じる

メニュー – 文字設定 タップして文字色等を設定に戻る

メニュー – 矩形を編集 枠の座標を調整する文字認識範囲(1行)を指定に戻る

メニュー – 画像を変更 基にするスクリーンショット画像を現在のリストから(記録に画像が含まれる場合のみ)または画像ファイルから(要ストレージ権限)選択して入れ替える