字節跳動開源 Bernini 框架,用於統一的影片生成與編輯
字節跳動的商業化技術團隊已正式發布了一個名為 Bernini 的開源影片生成與編輯框架。該框架的核心採用「先理解,再生成」的協作機制,旨在解決傳統模型因無法準確解讀複雜指令而導致的常見產業挑戰,例如影像不穩定與畫面閃爍等問題。
在字節跳動的內部評估中,Bernini 已取得頂尖成績。其推論程式碼與第二階段模型 Bernini-R 現已公開釋出,功能完整的版本預計將於近期全面開源。

語義與渲染的解耦
Bernini 的工作流程在「語義規劃」與「視覺渲染」之間引入了一種嶄新的分離機制。該流程始於一個多模態大型模型規劃器,它會徹底分析輸入素材以生成「語義草圖」,隨後由渲染器將其轉譯為穩定且連貫的影片幀。
這種明確的職責劃分,使該框架特別適用於可控編輯。使用者可透過簡單指令調整場景屬性(如天氣、季節或視覺風格),並能精確控制鏡頭角度、焦點及主體動作。
豐富的視覺參考功能
除了傳統的文字控制外,Bernini 還支援使用圖像和影片作為視覺參考,顯著提升了創作的一致性。在影片編輯中,它能精準地將特定素材或海報置入目標區域,且不會產生邊界瑕疵或透視失真。
在生成新影片時,該模型可處理單張圖像及多角度參考輸入,並能將關鍵幀演化為連續序列。為避免連接多個視覺片段時產生混淆,團隊導入了專用的位置編碼機制,能明確區分參考素材與輸出目標。
專案頁面:https://bernini-ai.github.io/
相關文章
Google 測試 Remy AI 代理,以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道,谷歌正在測試 Remy,這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務,從而簡化專業工作流程和日常事務。目前,Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”,將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實,谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企
相關專題推薦
評論 (0)
0/500
字節跳動的商業化技術團隊已正式發布了一個名為 Bernini 的開源影片生成與編輯框架。該框架的核心採用「先理解,再生成」的協作機制,旨在解決傳統模型因無法準確解讀複雜指令而導致的常見產業挑戰,例如影像不穩定與畫面閃爍等問題。
在字節跳動的內部評估中,Bernini 已取得頂尖成績。其推論程式碼與第二階段模型 Bernini-R 現已公開釋出,功能完整的版本預計將於近期全面開源。

語義與渲染的解耦
Bernini 的工作流程在「語義規劃」與「視覺渲染」之間引入了一種嶄新的分離機制。該流程始於一個多模態大型模型規劃器,它會徹底分析輸入素材以生成「語義草圖」,隨後由渲染器將其轉譯為穩定且連貫的影片幀。
這種明確的職責劃分,使該框架特別適用於可控編輯。使用者可透過簡單指令調整場景屬性(如天氣、季節或視覺風格),並能精確控制鏡頭角度、焦點及主體動作。
豐富的視覺參考功能
除了傳統的文字控制外,Bernini 還支援使用圖像和影片作為視覺參考,顯著提升了創作的一致性。在影片編輯中,它能精準地將特定素材或海報置入目標區域,且不會產生邊界瑕疵或透視失真。
在生成新影片時,該模型可處理單張圖像及多角度參考輸入,並能將關鍵幀演化為連續序列。為避免連接多個視覺片段時產生混淆,團隊導入了專用的位置編碼機制,能明確區分參考素材與輸出目標。
專案頁面:https://bernini-ai.github.io/
如何修復核心網頁指標以獲得更好的 SEO 排名
利用 AI 工具簡化成績單評語撰寫引言用於生成成績單評語的 AI 工具Magic SchoolAlmanac AIChat GPT使用 Magic School 生成成績單評語登入 Magic School選擇成績單評語工具為學生定製評語使用 Almanac AI 生成成績單評語設定課程與評分方案配置評語長度與學生資訊使用 Almanac AI 生成評語比較 Magic School 與 Almanac AI設定的便捷性可定製性與課程內容的整合速度與效率使用
Slackbot 成為 AI 智慧體
Slackbot,嵌入在Salesforce企業訊息平臺Slack中的自動化助手,正在演變為一個AI智慧體。Salesforce技術長Parker Harris設想它將達到與OpenAI的ChatGPT相媲美的病毒式傳播地位。這家雲軟體巨頭於週二推出了更新版的Slackbot。該新版AI驅動版本面向Business+和Enterprise+客戶,可直接在Slack內查詢資訊、起草電子郵件和安排會議。在獲得適當許可權的情況下,它還能與Microsoft Teams和Google Drive等企





首頁






