Mercury:全球首個商用級擴散大語言模型(dLLM)速度快10倍 更準確、更聰明、更省錢

Home » AI日報 » Mercury:全球首個商用級擴散大語言模型(dLLM)速度快10倍 更準確、更聰明、更省錢

nception Labs 推出了一款全新的大語言模式 Mercury,與目前主流的Transformer模式不同,這是全球首個商用級擴散大語言模式(Diffusion Large Language Model,dLLM)。比現在常見的 ChatGPT(GPT-4o)、Claude 3.5、Gemini 1.5 快 10 倍,同時更準確、更聰明、更省錢。

Mercury 採用 擴散模型(Diffusion Model) 進行文本生成,相較於目前主流的自回歸(autoregressive)LLM(如 GPT-4、Claude 3.5、Gemini 1.5),它具備:

更快的推理速度(提升 5-10 倍)

更低的計算成本

更強的邏輯推理能力

更好的可控制性(可局部修改文字、糾錯、填充)

應用場景:包括編碼、問答、代理任務(agentic applications)等,未來可能擴展至更多通用語言任務。

> 什麼是擴散大語言模型(dLLM)?

現有 LLM(如 GPT-4、Claude 3.5)的問題

目前主流的 大語言模型(LLM) 都是基於 自回歸(autoregressive) 方式進行文字產生:

逐步依序 一個 token 一個 token 產生文本,每個 token 依賴前面的輸出。

這種方式在 長文本推理、複雜任務 方面有明顯缺陷:

推理速度慢(尤其是長文時,計算成本極高)

推理錯誤難以修正(一個錯誤可能影響後續所有生成)

難以局部修改(必須重新產生整個文本)

易產生幻覺(hallucination),無法全域最佳化文字質量

擴散大語言模型(dLLM):全新解決方案

Mercury 採用 擴散模型(Diffusion Model) 進行文字生成,和 影像擴散(Stable Diffusion、Midjourney) 類似:

並行修改多個 token,而不是逐一生成

粗到細(coarse-to-fine) 逐步最佳化輸出,而非簡單預​​測下一個 token

能夠全域最佳化文字結構,減少幻覺、提高一致性

> 擴散 LLM 的核心優勢:

> 速度提升 5-10 倍(並行優化多個 token,提高吞吐量)
> 減少幻覺(Hallucination)(可全域調整文本,不受前後 token 誤差影響)
> 更好的可控性(支援局部修改、插入文字、填充等)
> 更強的推理能力(更擅長邏輯分析、程式碼生成、文件寫作)

>簡單理解: GPT-4 生成文字 = 逐字拼字文章
Mercury 產生文字 = 一次構思整篇文章,並反覆潤飾優化

> Mercury Coder:全球最快的程式碼產生 AI

Mercury Coder 是一款專門針對程式碼產生進行最佳化的 dLLM。在標準編碼基準測試中,Mercury Coder 在眾多基準測試中均取得了優異的質量,其性能通常超過 GPT-4o Mini 和 Claude 3.5 Haiku 等速度優化的自回歸模型,同時速度最高可提高 10 倍。

1. 程式碼產生的突破

Mercury Coder 是 首款專為程式碼產生最佳化的擴散 LLM,相較於主流代碼 LLM(如 GPT-4o Mini、Claude 3.5 Haiku),它具備:

生成速度快 5-10 倍

代碼品質更高

相容於多種程式語言

可用於 AI 程式設計助手(類似 GitHub Copilot)

2. 速度比較:快 10 倍

Mercury Coder 在 NVIDIA H100 GPU 上的推理速度高達 1000+ tokens/sec,相較之下,GPT-4o Mini 僅 59 tokens/sec,速度提高 18 倍。

>結論:

Mercury Coder Mini 生成速度是 GPT-4o Mini 的 18 倍,也是 Claude 3.5 Haiku 的 16 倍。

速度接近以往只有 專用 AI 硬體(Groq、Cerebras) 才能實現的水平。

3. 代碼品質評測

Mercury Coder 在 HumanEval、MBPP、EvalPlus、MultiPL-E 等基準測試的表現超越大部分主流 LLM:

> 結論:

Mercury Coder 程式碼品質與 GPT-4o Mini、Claude 3.5 Haiku 相當,但速度快 10 倍。

適合 GitHub Copilot、智慧程式碼補全、AI 程式設計助理等應用場景。

> Mercury LLM 未來應用

1. AI 聊天與對話

Mercury Chat(即將發布):比 Claude 3.5 Haiku、GPT-4o 更快、更聰明的 AI 對話系統

適用於:

智慧客服

企業 AI 助理

自動化資訊處理

2. AI 智慧代理(Agentic AI)

dLLM 的高效推理能力​​,使其適用於:

任務規劃

多步驟推理

自主 AI 代理(如 AutoGPT)

3. RAG(檢索增強生成)

可用於企業知識庫、法律 AI、醫療 AI

大規模企業文件處理

智慧搜尋引擎(比傳統 LLM 更快、更精準)

4. Edge AI(邊緣運算)

由於 Mercury 計算效率高,可在:

智慧型手機

筆記本

嵌入式設備 本機運行大模型(減少雲端成本)

>商業化與企業集成

Mercury 可透過 API 和本地部署 整合:

SaaS 模式(雲端 API 存取)

本地部署(On-Premise)

相容於現有 GPU(無需特殊 AI 硬體)

支援企業級 AI 應用程式開發

目前已有多個行業巨頭在測試 Mercury,作為 GPT-4 替代方案,以降低成本並提高 AI 速度。

返回頂端