tetsugan sakamoto

自分がガチで欲しかったLive翻訳アプリ作りました!! MITライセンスでOSSとして無料公開しますので是非使ってください!! ローカル動作なので完全無料!! ※1 基本的に英→日翻訳ですが、オプションで多言語にも対応してます。 PC音声を全て自動的に翻訳するので、あらゆる音声をリアルタイム翻訳出来ます。 ■利用イメージ - FOMC Liveで使って素早くFinance情報を得る - 英語のVtuber、YouTuberの動画を楽しむ - 英語の会議に添える、後で全文議事録にする - 英語音声のGameを楽しむ 少し難しい英語の話でも、「ちょっと遅いけど、読みやすい」日本語でリアルタイムに追いかけられます。 ■特徴 意図的にリアルタイムから少し送らせて翻訳します。 英文が塊で翻訳されるので変な意味として翻訳されてしまう事を防いでいます。 また、英→日翻訳をしたのち、日→日翻訳をして理解しやすい優しい日本語に変換して確定させるので、かなり理解しやすい日本語に翻訳されます。 Li○eみたいなTalk画面風なので、遡って話を見ることができて更に認知負荷Down。 ■ できること ・ライブ翻訳 「● 聞く」を押すと、PCで再生中の英語の音声（マイクではなく、PCの音そのもの）を聞き取って、メッセージアプリみたいな吹き出しで日本語にしていきます ・話している途中も訳を更新し、話のまとまりごとに約60字の短い吹き出しに分けて確定します。吹き出しを押すと英語の原文も見られます ・シンプル翻訳（Ctrl+1） 左に文を入れると、打ち終わって約1秒で右に訳が出ます。なんと、ライブ翻訳を止めずに使えます ・ミニ表示（Ctrl+Shift+M） 小さな窓にして、動画の横や上に置いて読めます。「最前面」でほかの窓より手前に固定できます ・訳は履歴に残り、全文コピーもできます。ダークモードもあります ・オプション：YouTubeの字幕（CC）を訳す拡張機能、中国語など英語以外の音声の聞き取り（Qwen3-ASR／Whisper） ■ 仕組み ・音声認識はNVIDIAの Nemotron Speech（英語のストリーミング音声認識）を NeMo-Speech.cpp で、翻訳はPFNの PLaMo 3 Translate を llama.cpp で、どちらもPCの中で動かしています。Pythonは使っていません ・英語は160msか560msの細かい単位で聞き取ります。そのままだと細切れなので、「話のまとまり（段落）」につないでから訳します ・話している途中の段落は8語増えるごとに訳し直し、言葉が1.2秒止まったら残りも訳し直します。直前の段落を文脈として渡すので、訳がぶつ切りになりにくいです ・訳は2段階です。まずPLaMoで普通に訳し、そのあとPLaMo公式の「やさしい日本語」の書き方で、読みやすい日本語に書き直しています。2回かけるぶん少し遅いですが、そのぶん読みやすいです ・訳が届くまでは、聞き取った英語を薄い文字で出しておき、訳が届いたら日本語に置き換えます ・英語の「um」「uh」みたいな言いよどみは取り除き、金利の「3と3/4」みたいな分数は小数に直してから訳すことも出来ます。※動画では3と3/4ですが… FOMC向けの金融用語（30語）も入れてます ・段落が長くなりすぎたときは、軽い文区切りモデル（sherpa-onnx の CT-Transformer、CPUで動作）で文の切れ目を見つけて分けます ■ 軽さ ・アプリ本体はRust製で、配布ZIPは約12MB。PythonやRustのインストールは不要で、展開して「Talk風Live翻訳.cmd」を開くだけです（Microsoft Visual C++ 再頒布可能パッケージが入っていないPCは、それだけ入れてください） ・重いのは翻訳モデルだけです。最初の画面で PLaMo 0.8B／2B／8B／31B から選べます（0.8Bで546MB、8Bで4.9GB）。GPUの空きが16GB以上なら8B、それより少なければ2Bが最初から選ばれています ・翻訳は NVIDIA の GPU（CUDA）、Vulkan 対応の GPU、CPU で動きます。GPUがないPCでは0.8BをCPUで動かせます ■ プライバシー ・翻訳も音声認識も、すべてPCの中で動きます。モデルを最初にダウンロードするとき以外、音声も文章も外に送りません ■ 動作環境 ・Windows（x64）用です。動作を確かめたのは、Windows 11 と RTX 4090 のPC 1台だけです（うちのRTX 4090・8Bだと、英語が出てから日本語に変わるまで約2秒） ・起動するたびに、モデルの読み込みで10秒ほど「準備中…」になります ・Macでも理論上使えると思うのでFork主募集 ダウンロード：github.com/yebisu0529-ship-i… ※1 翻訳に使っているPFNの「PLaMo」は、PLaMoコミュニティライセンスで提供されています。趣味など個人の私的な利用は無料です。仕事など商業目的で使う場合は、PFNの公式ページへの事前登録と、直近の年間売上10億円以下（関係会社を含む）が条件で、超える場合はPFNの商用ライセンスが必要です。