文章來源：OneFlow

文章作者：無界AI算法團隊

無界AI是由杭州超節點信息科技有限公司創立的國內領先的人工智能生成內容（AIGC）平台 ， 專註於人工智能大模型在圖像視頻領域的生成創造，為用戶提供先進且豐富的AIGC工具，滿足不限於動漫、影視、短視頻創作及設計等各行各業的圖片與視頻內容生產需求。自上線以來，無界AI平台已累計超過400多萬C端、B端用戶。

在無界AI的圖片/視頻生成、AI寫真等項目場景中，他們已使用硅基流動研發的圖片/視頻生成推理引擎OneDiff來提升效率。其中，在AI定製視頻彩鈴項目中，他們在對比評測多個推理加速引擎后選擇了OneDiff，取得了顯著的加速效果和使用體驗，最終順利與浙江聯通達成合作。

1 團隊背景

我們無界AI算法團隊主要專註於三大方向：一是自研行業模型訓練，包含文本、圖片、視頻和3D模型等內容的生成，其中還涉及對不同行業場景數據定製的圖片/視頻打標模型，不同類型image/video caption對訓練和作畫的影響，以及適配不同的訓練技術；二是算法的預研、改進和落地，比如可控的圖片/視頻/3D生成和編輯，圖片和視頻的風格化，小樣本對象或風格化身等；三是企業解決方案的定製，對於一些大B客戶的需求，在以上模型和算法的基礎上，我們會給出更完整的解決方案。

基於這些方向，我們做過不少行業Top企業合作的項目，比如與萬事利合作的絲綢紋樣大模型，與某快消品牌合作的“回到童年”兒童節營銷活動和手繪新春紅包的新活動，與vivo合作的用一張用戶圖片3分鐘製作化身生成AI寫真，與《神隱》發行方合作的用一張用戶圖片化身劇中角色，以及與浙江聯通合作的AI定製視頻彩鈴等項目。 

2 項目挑戰與技術選型

無界AI產品的一項功能是圖片生成視頻，讓用戶能基於一張圖片生成對應內容的一小段視頻。基於這個功能，我們跟浙江聯通碰撞出AI定製視頻彩鈴項目，用戶上傳一張自己的照片，AI生成用戶在特定場景中的動態視頻，這個項目在春節期間開放給用戶使用，場景上是與春節相關的喜慶畫面，也可用作拜年視頻。

上線期間，浙江聯通向用戶推送了這個活動，因活動形式比較新穎，吸引了大量用戶。大量的用戶製作請求給我們的項目帶來了巨大挑戰：在有限的資源下，我們要盡量減少用戶的等待時間，因此生成效率十分重要。此外，項目方對效果的要求也比較高，用戶人臉出現在場景后的人臉相似性，場景圖片合成後生成視頻的動態合理性，人臉的高保真等都是不小的挑戰。

推理加速是我們團隊一直在關注的領域，比如之前的AITemplate、OneFlow等，我們是從社區知道的OneDiff，在它支持SVD后，就第一時間對OneDiff社區版進行了各種使用場景下的詳細評測，包括效果的一致性和顯存的變化。OneDiff相比TensorRT等其他開源或閉源框架優勢明顯，簡單來說：

一是加速比上更穩定。在普通的作畫場景，不同尺寸下併疊加一些控制，使用OneDiff平均有40%以上的性能提升。在特定場景，比如圖生視頻，生成4s的1024x576和1024x1024畫幅視頻時，帶來了約100%的推理加速和10%的顯存節約。

二是適配性比較好。比如支持多尺寸和LoRA熱插拔，以及兼容SVD等最新的算法。

三是方便上手。支持Diffusers/ComfyUI/WebUI應用框架。

在AI定製視頻彩鈴項目中，優化之前，單次圖片生成視頻需要90s，使用OneDiff優化后可以用50s生成，效率提升非常顯著，用戶上傳照片即可自動生成精美視頻彩鈴。

龍年伊始，我們順利同浙江聯通達成合作。截止目前， AI定製視頻彩鈴活動已經觸達上百萬聯通用戶，日均視頻創作量上千，該活動也促成無界AI成為浙江廣電浙江聯通戰略合作夥伴，其中OneDiff功不可沒。

3 結語

在圖生視頻、單張圖片生成、AI寫真等一些單點項目或功能上已經使用了OneDiff，我們也在測試OneDiff企業版，非常期待在性能方面能有更大的提升。

未來，我們非常期待OneDiff能夠提供更多強大的功能，例如ControlNet（WebUI）等，也期待OneDiff能對訓練階段有所加速，比如LoRA的訓練。此外，我們在LLM、圖片生成、視頻生成、3D模型生成方面都有應用，如果OneDiff在這些場景都有對應的模型或算法支持是最好的。

我們相信，OneDiff將會成為更加優秀的AIGC算法加速工具，為廣大開發者帶來更大的便利。感謝OneDiff團隊的辛勤付出！

【OneDiff v0.12.1正式發布（生產環境穩定加速SD&SVD）】本次更新包含以下亮點，歡迎體驗新版本：github.com/siliconflow/onediff

* 更新SDXL和SVD的SOTA性能

*  全面支持SD和SVD動態分辨率運行

*  編譯/保存/加載HF Diffusers的pipeline

*  HF Diffusers的快速LoRA加載和切換

*  加速了InstantID（加速1.8倍）

*  加速了SDXL Lightning

（SDXL E2E Time）

（SVD E2E Time）更多詳情：https://medium.com/@SiliconFlowAI/