Beatingによると、XiaomiのAIチームはControlFoleyをリリースし、オープンソース化しました。これは動画の音声生成フレームワークで、テキストによる説明または参照音声を通じて、クリエイターが音のスタイルを正確に制御できる機能を提供します。画像だけから音を推測する従来のAI吹き替えシステムとは異なり、ControlFoleyは、音声の特徴を—たとえばドアのノックを金属的な打撃に変えたり、ドラムの音色をテニスボールの衝撃に適用したり—変更しつつ、音声と映像の同期を維持できます。このフレームワークは、時間-空間の音声・映像エンコーダと、時間-音色のデカップリング戦略を採用しています。プロジェクトの技術レポート、コード、モデル重み、デモは現在利用可能です。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
