書籍・アプリ・音源から英文とその日本語訳を効率よく抜き出す方法
※Windows PCとiPhone/iPad中心のまとめとなっていますが、Mac PCやAndroidでも可能なものは読み替えてください。
（持っていないので単純に検証できていないだけです。検証できた方は報告してほしいです・・・）
ここは書籍・アプリ・音源から英文とその日本語訳を効率よく抜き出す方法をまとめたページです。英文とその日本語訳は、AIで対訳テーブルという形で抜き出したものを表計算ソフトで編集し、Ankiカードで使用する想定です。書籍・アプリ・音源から英文とその日本語訳を抜き出す想定で記載していますが、応用として英文や英単語だけを抜き出したりすることも可能です。
背景
書籍・アプリを丸ごとAnki化する場合、スキャンした画像をAnkiカードに貼る方法がありますが、下記のようなデメリットがあります。
- 画像ファイルのためテキスト検索ができない
- Ankiデッキのファイルサイズが大きくなる
- スプレッドシートやエクセルなどで扱いにくい
- 音源がない場合にテキストをTTSできない
そのため、できれば画像ではなくテキスト（文字）でAnki化したいなと思って、このまとめページを作りました。
概要
書籍・アプリ・音源から英文とその日本語訳を抜き出すには、OCR（Optical Character Recognition）やSTT（Speech to Text）を利用します。OCRやSTTのツールは色々ありますが、ここでは高精度かつ無料で利用できるものをまとめています。最終的に、OCRやSTTで取得したテキストをAIの力を借りてテーブル形式で抜き出します。
書籍・アプリ・音源から英文とその日本語訳を抜き出すフローは以下の通りです。
フロー
- 【書籍・アプリの画像ファイル準備】ツールを使って、英文とその日本語訳を含んだ画像ファイルを用意します。このステップを飛ばして2.から開始する場合もあります。
（音源については、書籍に付属するCDやアプリでDLした音声ファイルなどを想定しています。） - 【OCR・STT】カメラやツールなどのOCRやSTTを用いて、英文とその日本語訳を含んだテキストを取得します。
（この段階のテキストには「英文とその日本語訳」以外の余分なテキストも含まれます。） - 【AI処理】ChatGPTまたはBing AIチャットを用いて、1.で得られたテキストから英文とその日本語訳を抜き出してテーブルを作成します。
- 作成したテーブルをスプレッドシートやエクセルなどに貼って整形し、Ankiカードを作成します。
（ここは各自のやり方にお任せします。）
準備（設定変更・インストール）
設定・アプリ・ソフトウェアの一覧
全て準備する必要はありません。必要なものだけでよいです。
| カテゴリ | アプリ・ソフトウェア・設定 | Windows PC | iPhone/iPad |
| OCR | Google スプレッドシート（Google Apps Script） | 〇 | × |
| OCR | カメラのテキスト認識表示（OCR）の設定 | × | 〇 |
| ・画像ファイル準備 ・OCR ・AI処理 |
ショートカットアプリ | × | 〇 |
| OCR | メモアプリ | 〇（iCloud） | 〇 |
| OCR | Google Keep | △ | △ |
| OCR | Google Lens | △ | △ |
| STT | Microsoft Word（web版含む） | 〇 | × |
| AI処理 | ChatGPT | 〇（Web） | 〇 |
| AI処理 | Bing AIチャット（Bing） | 〇（Web） | 〇 |
※ChatGPTとBing AIチャット：どちらか一方があれば最低限OKですが、両方あるとより効果的です。
※△は、実施可能ですが効率が悪いので非推奨の項目です。
設定方法・インストール先
| カテゴリ | アプリ・ソフトウェア・設定 | 設定方法・インストール先 |
| iPhone/iPadの設定 | カメラのテキスト認識表示（OCR）の設定 |
公式サイトの説明はこちらです。 |
| iPhone/iPadアプリ | ショートカットアプリ |
|
| iPhone/iPadアプリ | メモアプリ |
|
| ・iPhone/iPadアプリ ・Windows PC |
ChatGPT |
iPhone/iPadのChatGPTアプリのインストールは下記からできます。 PCで使用する場合は、こちらです。 事前にユーザー登録し、ログインしておいてください。（iPhone/iPad端末、 Windows PC端末両方） |
| ・iPhone/iPadアプリ ・Windows PC |
Bing |
Bing AIチャットを利用するためにBingアプリをインストールします。iPhone/iPadでのBingアプリのインストールは下記からできます。 PCでアクセスする場合は、こちらです。 事前にMicrosoftアカウントでログインしておいてください。（iPhone/iPad端末、Windows PC端末両方） |
【iPhone/iPad】Ankiカードの作成効率化のためのショートカット集
こちらのページからDLしてください。事前にショートカットアプリをインストールしておく必要があります。
各作業の記事一覧
書籍・アプリの画像ファイル準備
| 記事 | OS/デバイス | ツール | 取得対象の画像ファイル | 取得画像数 | コメント |
| 【Power Automate】Kindle本のスクリーンショットを自動で取得する方法 |
Windows |
Power Automate |
・Kindle for PCの画面スクショ |
複数 | Windows PCでKindle本のスクリーンショットの自動化について記載した記事です。 |
| ショートカット「連続スクショ」の使い方 |
iPhone/iPad |
ショートカットアプリ |
・Kindleの画面スクショ |
複数 | iPhone/iPadで連続してスクリーンショットを撮る時に使うと便利なショートカットです。 ショートカット「連続スクショ」は、こちらのページからDLしてください。 |
OCR
| 記事 | OS/デバイス | ツール | OCRの対象ファイル | 処理画像数 | コメント |
| 【Google Apps Script】複数画像ファイルの一括テキスト抽出（OCR） |
Windows |
GAS |
・画像（JPG/PNG/GIF） |
複数 | 現在、最もおすすめできる方法です。事前設定が必要となります。 |
| 【iPhone/iPad】カメラで読み取ったテキストをメモアプリに直接かつ連続して保存する方法 |
iPhone/iPad |
iPhone/iPadのカメラ |
カメラで直接表示したテキスト |
複数 | メモアプリにカメラで読み取ったテキストを保存する方法です。ピンポイントでOCRできます。 |
| 【Google Keep】複数画像ファイルの一括テキスト抽出（OCR） |
・Windows |
Google Keep |
画像（JPEG/JPG/PNG/GIF/WEBP |
複数 | 画像ファイルが少ないか、画像ファイルのサイズが小さい場合の利用をおすすめします。 |
| 【Google Lens】画像ファイルのテキスト抽出（OCR） |
・Windows |
Google Lens |
・画像 |
1 |
1度に1画像しかOCRできませんが、Webブラウザがあれば利用できます。 |
STT（Speech to Text）
| 記事 | OS/デバイス | ツール | 音源 | コメント |
| 【Word】Speech to Textを使って音声ファイルから英語とその日本語訳の対訳テーブルを作成する方法 |
Windows |
・Word |
・音声ファイル（wav/mp4/m4a/mp3） |
Microsoft 365ユーザーは無制限。それ以外は300分/月です。Word for the webで実行できます。 |
OCR→AI処理
| 記事 | OS/デバイス | ツール | OCRの対象ファイル | 処理画像数 | コメント |
| 【iPhone/iPad】英文とその日本語訳を含むメモから対訳テーブルを作成する方法 |
iPhone/iPad |
・iPhone/iPadのカメラ |
・画像 |
複数 | メモアプリのテキストから英文とその日本語訳の対訳テーブルを作成する方法です。 ※対訳テーブル作成を依頼したいテキスト（画像ファイルから直接テキストをコピペしたもの、どこかのWebページをコピぺしたものなど）があればメモに直接書いて、「共有」メニューからショートカット「OCR→AI」を実行してもOKです。 （OCRは不要ですが）OCRはカメラのテキスト認識表示ではなく、ショートカットのテキスト抽出を使用しています。 |
| 【iPhone/iPad】英文とその日本語訳を含む画像（写真・スクショ）ファイルから対訳テーブルを作成する方法 |
iPhone/iPad |
・メモアプリ |
画像 |
複数 | 画像（写真・スクショ）ファイルから英文とその日本語訳の対訳テーブルを作成する方法です。OCRはカメラのテキスト認識表示ではなく、ショートカットのテキスト抽出を使用しています。 |
| 【iPhone/iPad】英文とその日本語訳を含むPDFファイルから対訳テーブルを作成する方法 |
iPhone/iPad |
・メモアプリ |
|
複数 | PDFファイルから英文とその日本語訳の対訳テーブルを作成する方法です。OCRはカメラのテキスト認識表示ではなく、ショートカットのテキスト抽出を使用しています。 |
AI処理
| 記事 | OS/デバイス | ツール | コメント |
| PCのChatGPT/Bing AIチャットで英文とその日本語訳の対訳テーブルを取得・作成する |
Windows |
・メモアプリ |
PC上でAI（ChatGPT/Bing AIチャット）を使用して対訳テーブルを開いたり、作成する方法。 |