AIショート動画生成でTiming QAが4回連続失敗|TTS再生成の問題をScene単位キャッシュで改善

AIを使ってショート動画を自動生成する仕組みを開発しています。

今回は、これまでのUI中心の映像から一歩進め、未来都市を舞台にした新しいRenderer(映像描画プログラム)を制作しました。

ところが動画を生成すると、ナレーションと映像の時間を確認するTiming QAで、4回連続の安全停止が発生しました。

あるSceneを修正すると、今度は別のSceneが不合格になる。修正を繰り返しても問題が解消しません。

原因を調べると、Revision(修正版の生成)のたびにTTS音声を作り直していたことが問題の一つでした。

今回は、Scene単位の音声キャッシュを導入し、Timing QAを通過するまでの改善過程を記録します。

目次

この記事で分かること

  • Timing QAで4回連続失敗した状況
  • TTSの再生成が問題になった理由
  • Scene単位のWAVキャッシュの仕組み
  • 改善後のテスト結果と学んだこと

未来都市Rendererで発生したTiming QAの問題

今回の動画生成では、未来都市を背景に、ナレーション・字幕・映像を自動的に組み合わせる仕組みを制作しました。

動画は複数のScene(場面)で構成され、それぞれに表示時間が設定されています。

例えば、Sceneの表示時間が5秒なのにナレーションが5.5秒続けば、音声が次の場面にはみ出します。

こうした問題を防ぐために設けているのが、**Timing QA(時間の品質チェック)**です。

音声と映像の時間が基準を満たさない場合、完成動画として出力せず、安全停止します。

今回も安全停止自体は正常に機能していました。

問題は、Sceneの表示時間を修正しても、次の生成で別のSceneが不合格になることでした。

修正するたびに不合格のSceneが変わった

最初は、ナレーションに対してSceneの表示時間が短いだけだと考えました。

そこで、問題のあるSceneのduration(表示時間)を延長しました。

しかし再生成すると、それまで問題のなかった別のSceneが不合格になります。

さらに修正しても、別のSceneで同じ問題が発生しました。

結果として、Timing QAによる安全停止が4回連続で発生しました。

ここで疑問になったのが、なぜ修正していないSceneまで不合格になるのかという点です。

単純な表示時間の設定ミスでは説明できないため、動画生成の処理を確認しました。

原因はTTS音声の実尺が変わることだった

TTS(Text-to-Speech)は、文章からナレーション音声を生成する技術です。

今回のシステムでは、Sceneごとの文章からTTSで音声を生成していました。

当初は、同じ文章と設定なら、生成される音声の長さも同じだと考えていました。

しかし実際には、再生成するたびに音声の実尺が微妙に変化する場合がありました。

さらに問題だったのは、Sceneを一つ修正するだけでも、ほかのSceneの音声まで再生成していたことです。

例えばScene 3の表示時間を変更しても、Scene 1・2・4・5・6の音声が作り直されます。

その結果、以前は時間内に収まっていた音声が少し長くなり、次のTiming QAで不合格になることがありました。

問題はSceneの表示時間だけでなく、Revisionごとに音声が変化する設計にもありました。

Scene単位のWAVキャッシュを導入

そこで、一度生成した音声を再利用する方式へ変更しました。

キャッシュとは、生成済みのデータを保存し、同じ処理が必要になったときに再利用する仕組みです。

今回は動画全体ではなく、Scene単位でWAV音声を保存します。

例えば6つのSceneがあり、Scene 3のナレーションだけを変更した場合は、次のように処理します。

Scene音声の処理
Scene 1・2既存WAVを再利用
Scene 3TTSを再生成
Scene 4・5・6既存WAVを再利用

これなら、変更していないSceneの音声尺が再生成によって変わることはありません。

また、映像のdurationだけを変更した場合は、TTSを呼び出さず、保存済みWAVの実尺を基準に調整できます。

キャッシュの一致確認と再利用履歴も記録

単にWAVを保存するだけでは、間違った音声を再利用する可能性があります。

そこで、ナレーション本文とTTS設定から作成したハッシュ値、WAVファイルのSHA-256、実際の再生時間なども記録する仕組みにしました。

ハッシュ値は、データが同じかどうかを確認するための識別情報です。

本文や設定が一致し、保存ファイルにも問題がない場合に、既存音声を再利用します。

さらに再利用したSceneには、generation_mode: reusedという記録を残します。

これにより、どの音声を新しく生成し、どの音声を再利用したのかを後から確認できるようにしました。

Timing QAの余裕時間も見直した

音声キャッシュとあわせて、Timing QAの基準も見直しました。

今回は、各Sceneについて最低0.50秒の余裕時間を確保する基準に変更しています。

音声が終了した瞬間に次のSceneへ切り替わるのではなく、一定の余白を設けるためです。

また、Timing QAで不合格になった場合は、まずScene間の時間配分を調整し、それでも難しい場合に必要なSceneのナレーションを短くする方針にしました。

音声を固定することで、表示時間の調整結果を次のRevisionでも利用しやすくなりました。

69件のテストに合格し、最終Revisionも通過

Scene単位のキャッシュを実装した後、関連処理についてテストを行いました。

結果は、69件すべて合格。実装に起因するテスト失敗は0件でした。

ただし、コードのテストに合格しても、実際の動画がTiming QAを通過するとは限りません。

そこで未来都市Rendererでの生成に戻り、6つのSceneのWAVを固定しました。

一部のSceneでは時間不足が残っていましたが、今度は音声を再生成せず、映像側のdurationを調整しました。

最終Revisionでは、各Sceneにおおむね0.7秒程度の余裕を確保するように時間を再配分しました。

その結果、全SceneのTiming QAに合格しました。

さらに、最終RevisionでのTTS/API追加呼び出しは0回でした。

既存WAVを再利用し、映像の時間調整だけで問題を解消できたことになります。

こうして未来都市Rendererの第1号動画を完成させることができました。

今回の改善で学んだこと

音声キャッシュを導入すれば、不要なTTS API呼び出しを減らせるため、コスト削減も期待できます。

しかし、今回特に重要だと感じたのは再現性です。

Revisionのたびに音声尺が変わる状態では、前回の検証結果を次の修正に活かしにくくなります。

一方、確定したWAVを固定すれば、その実尺を基準として映像を調整できます。

また、最初は個別のSceneのエラーを修正していましたが、4回連続で失敗したことで、生成処理そのものを見直す必要があると分かりました。

失敗したSceneだけを直すのではなく、失敗が繰り返される原因を仕組みから改善する。

これが今回の大きな学びです。

まとめ|生成する部分と固定する部分を分ける

未来都市Rendererの開発では、Timing QAによる安全停止が4回連続で発生しました。

原因を調べた結果、RevisionごとのTTS再生成によって、修正していないSceneの音声尺まで変わることが問題の一つだと分かりました。

そこでScene単位のWAVキャッシュを導入し、変更していない音声は再利用する方式に改善しました。

その結果、69件のテストに合格し、最終RevisionではTTS/API追加呼び出し0回で全SceneのTiming QAを通過しました。

今回の経験から、AIによる自動化では、何を生成するかだけでなく、何を固定して再利用するかも重要だと分かりました。

今後も、映像表現を広げるだけでなく、安定して繰り返し生成できる仕組みを少しずつ改善していきます。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次