能讓霉霉中文開口跪、郭德綱用英語說相聲的那個AI——

有開源平替了！

這是用它讓羅翔進行英文普法的效果，張三李四“要素齊全”：

以及英文講人生哲理“你的內心有沒有幽暗的成分”（cr: line xiongjie lin）：

相比起來，雖然和原產品（也就是HeyGen）有一點差距，但是網友的評價是：

也還可以。

主要有了它，咱們在本地就能無限玩視頻翻譯，直接好處那可就是每月立省350～（手動狗頭）

畢竟，HeyGen再厲害，也只有2分鐘免費時長。

△ HeyGen收費情況

具體瞧瞧。

HeyGen開源平替來了

這個視頻翻譯平替名叫MyHeyGen，來自b站UP主：@ai浮世繪。

除了英文，MyHeyGen還支持轉法語、日語等共計16種語言。

視頻翻譯的三個流程：音頻翻譯、翻譯校正和視頻唇紋合成，它全部一個流程解決。

如果你想親手試試，步驟也不復雜。

大概流程是先環境準備：

需要分別去Huggface申請個token、去百度翻譯申請個AppKey，并下載權重和checkpoints文件。

然后就可以git clone安裝了。

開始測試之前，記得將你要翻譯的視頻下載保存到本地。

然后在執行命令中提供其保存路徑+想要翻譯成的語言代碼（比如’en’代表英語）+翻譯好的視頻保存路徑就可以坐等了。

命令的完整格式如下：

python translate.py 原視頻文件路徑 目標語言代碼 -o 保存路徑

有網友實測成功：

不過，還是必須得滿足16G顯存才ok，以及windows用戶可能需要自己再解決一下兼容問題（up主該視頻底下有人提供了方法）。

如果這些都不行，可以再等等colab實現，up主表示在測試中了。

效果方面，可以發現MyHeyGen音色復刻得很是到位，用了最新的語音克隆開源技術XTTS v2。

投喂給AI一個明星的采訪視頻，它就能克隆其中的聲音講不同的話。

至于MyHeyGen的缺點，大家看完表示也明顯。

比如有人反映口形有一些不同步，有人則吐槽遇上面部大幅活動就容易“抽風”（如本段開頭的“這英”）等等。

但整體玩一玩還是ok的。

One More Thing

仔細一翻，HeyGen的開源替代品還真不少。

有俄羅斯程序員也在業余時間做了一個：HeyGenClone。

用的是谷歌翻譯，可以支持上百種目標語言，但只支持原語言為英文的視頻。

由于只給了一個很短的俄語效果展示，不是很好評鑒，這里就不放視頻了～

參考鏈接：

[1]https://twitter.com/dotey/status/1722543725459452211

[2]https://twitter.com/gorden_sun/status/1722439866112463163