nception Labs 推出了一款全新的大語言模式 Mercury,與目前主流的Transformer模式不同,這是全球首個商用級擴散大語言模式(Diffusion Large Language Model,dLLM)。比現在常見的 ChatGPT(GPT-4o)、Claude 3.5、Gemini 1.5 快 10 倍,同時更準確、更聰明、更省錢。
Mercury 採用 擴散模型(Diffusion Model) 進行文本生成,相較於目前主流的自回歸(autoregressive)LLM(如 GPT-4、Claude 3.5、Gemini 1.5),它具備:
更快的推理速度(提升 5-10 倍)
更低的計算成本
更強的邏輯推理能力
更好的可控制性(可局部修改文字、糾錯、填充)
應用場景:包括編碼、問答、代理任務(agentic applications)等,未來可能擴展至更多通用語言任務。
> 什麼是擴散大語言模型(dLLM)?
現有 LLM(如 GPT-4、Claude 3.5)的問題
目前主流的 大語言模型(LLM) 都是基於 自回歸(autoregressive) 方式進行文字產生:
逐步依序 一個 token 一個 token 產生文本,每個 token 依賴前面的輸出。
這種方式在 長文本推理、複雜任務 方面有明顯缺陷:
推理速度慢(尤其是長文時,計算成本極高)
推理錯誤難以修正(一個錯誤可能影響後續所有生成)
難以局部修改(必須重新產生整個文本)
易產生幻覺(hallucination),無法全域最佳化文字質量
擴散大語言模型(dLLM):全新解決方案
Mercury 採用 擴散模型(Diffusion Model) 進行文字生成,和 影像擴散(Stable Diffusion、Midjourney) 類似:
並行修改多個 token,而不是逐一生成
粗到細(coarse-to-fine) 逐步最佳化輸出,而非簡單預測下一個 token
能夠全域最佳化文字結構,減少幻覺、提高一致性
> 擴散 LLM 的核心優勢:
> 速度提升 5-10 倍(並行優化多個 token,提高吞吐量)
> 減少幻覺(Hallucination)(可全域調整文本,不受前後 token 誤差影響)
> 更好的可控性(支援局部修改、插入文字、填充等)
> 更強的推理能力(更擅長邏輯分析、程式碼生成、文件寫作)
>簡單理解: GPT-4 生成文字 = 逐字拼字文章
Mercury 產生文字 = 一次構思整篇文章,並反覆潤飾優化
> Mercury Coder:全球最快的程式碼產生 AI
Mercury Coder 是一款專門針對程式碼產生進行最佳化的 dLLM。在標準編碼基準測試中,Mercury Coder 在眾多基準測試中均取得了優異的質量,其性能通常超過 GPT-4o Mini 和 Claude 3.5 Haiku 等速度優化的自回歸模型,同時速度最高可提高 10 倍。
1. 程式碼產生的突破
Mercury Coder 是 首款專為程式碼產生最佳化的擴散 LLM,相較於主流代碼 LLM(如 GPT-4o Mini、Claude 3.5 Haiku),它具備:
生成速度快 5-10 倍
代碼品質更高
相容於多種程式語言
可用於 AI 程式設計助手(類似 GitHub Copilot)
2. 速度比較:快 10 倍
Mercury Coder 在 NVIDIA H100 GPU 上的推理速度高達 1000+ tokens/sec,相較之下,GPT-4o Mini 僅 59 tokens/sec,速度提高 18 倍。
>結論:
Mercury Coder Mini 生成速度是 GPT-4o Mini 的 18 倍,也是 Claude 3.5 Haiku 的 16 倍。
速度接近以往只有 專用 AI 硬體(Groq、Cerebras) 才能實現的水平。
3. 代碼品質評測
Mercury Coder 在 HumanEval、MBPP、EvalPlus、MultiPL-E 等基準測試的表現超越大部分主流 LLM:
> 結論:
Mercury Coder 程式碼品質與 GPT-4o Mini、Claude 3.5 Haiku 相當,但速度快 10 倍。
適合 GitHub Copilot、智慧程式碼補全、AI 程式設計助理等應用場景。
> Mercury LLM 未來應用
1. AI 聊天與對話
Mercury Chat(即將發布):比 Claude 3.5 Haiku、GPT-4o 更快、更聰明的 AI 對話系統
適用於:
智慧客服
企業 AI 助理
自動化資訊處理
2. AI 智慧代理(Agentic AI)
dLLM 的高效推理能力,使其適用於:
任務規劃
多步驟推理
自主 AI 代理(如 AutoGPT)
3. RAG(檢索增強生成)
可用於企業知識庫、法律 AI、醫療 AI
大規模企業文件處理
智慧搜尋引擎(比傳統 LLM 更快、更精準)
4. Edge AI(邊緣運算)
由於 Mercury 計算效率高,可在:
智慧型手機
筆記本
嵌入式設備 本機運行大模型(減少雲端成本)
>商業化與企業集成
Mercury 可透過 API 和本地部署 整合:
SaaS 模式(雲端 API 存取)
本地部署(On-Premise)
相容於現有 GPU(無需特殊 AI 硬體)
支援企業級 AI 應用程式開發
目前已有多個行業巨頭在測試 Mercury,作為 GPT-4 替代方案,以降低成本並提高 AI 速度。