Ideogram發布其最新的圖像生成模型Ideogram 2a，Ideogram稱這是其最快、最經濟實惠的文本生成圖像模型，專為平面設計和攝影優化。 Ideogram 2a 可在 10 秒 內產生高品質設計和照片級真實感影像 2a Turbo 版本 甚至只需 5 秒！ 生成圖像的費用 降低 50%

Hume AI 推出了 OCTAVE（Omni-capable text and voice engine），這是一款基於 大語言模型（LLM） 訓練的 新一代文本轉語音（TTS）系統，不同於傳統 TTS 只是機械地“朗讀”文本，OCTAVE 能夠理解文本內容的含義，並根據語境生成更加自然、情感和情感表達的語音表達。 也就是：Octave 不僅能“說”，還能“理解”它在說什麼。它透過分析文本中的情緒線索、情節轉折和角色特徵，產生自然且富有表現力的語音。 OCTAVE 是 AI 語音合成技術的重大突破，讓 AI 不再只是「朗讀」文本，而是真正 「理解」文本並表達情感。它不僅能產生更自然、更具表現力的語音，還能讓用戶 個人化客製化 AI 語音角色。 OCTAVE 在多項評測中 超越了 ElevenLabs，在 音質（71.6%）、自然度（51.7%）以及與語音描述匹配度（57.7%） 三個關鍵指標上均獲得更高評分。 相較於傳統 TTS，OCTAVE 具備下列核心優勢： > 理解上下文，依照情境調整語調、重音、節奏> 支援語音個人化，可創造任意風格的 AI 語音角色> 提供語音風格自訂，可調式情緒、語調、表達方式> 領先的音質和自然度，在行業盲測中超越 ElevenLabs> API 和 SDK 適用於開發者，可輕鬆整合到應用中> 未來支援語音克隆，僅需 5 秒即可複製聲音 OCTAVE 的主要特點 基於 LLM 訓練的語音生成 OCTAVE 不只是一個語音合成引擎，而是一個結合了 大語言模型（LLM）和語音技術的 AI 語音生成系統，具備 以下核心能力： 能夠理解文本的 情境，推測 情緒、語調、重音、節奏。 自動產生符合 情緒語境 的語音，而不僅僅是按照字面意思機械朗讀。 語音的自然度遠超傳統 TTS，能夠根據上下文調整 語速、停頓、重音、音調。 > 例 ：情緒性朗讀 文字輸入：「哦，當然，我們再來開一次關於 logo 顏色的會議吧！畢竟誰在乎功能呢，顏色才是關鍵！」OCTAVE 語音輸出（諷刺語調）：諷刺且帶有誇張的重音 文字輸入：「不！不要靠近我！這太可怕了！」OCTAVE 語音輸出（有驚恐）：帶有顫抖的聲音，語速快，音調高 傳統的 TTS 只是「朗讀」這些文本，而 OCTAVE 會理解語境，調整語氣，使其更貼近人類表達。

nception Labs 推出了一款全新的大語言模式 Mercury，與目前主流的Transformer模式不同，這是全球首個商用級擴散大語言模式（Diffusion Large Language Model，dLLM）。比現在常見的 ChatGPT（GPT-4o）、Claude 3.5、Gemini 1.5 快 10 倍，同時更準確、更聰明、更省錢。 Mercury 採用 擴散模型（Diffusion Model） 進行文本生成，相較於目前主流的自回歸（autoregressive）LLM（如 GPT-4、Claude 3.5、Gemini 1.5），它具備： 更快的推理速度（提升 5-10 倍） 更低的計算成本 更強的邏輯推理能力 更好的可控制性（可局部修改文字、糾錯、填充） 應用場景：包括編碼、問答、代理任務（agentic applications）等，未來可能擴展至更多通用語言任務。 > 什麼是擴散大語言模型（dLLM）？ 現有 LLM（如 GPT-4、Claude 3.5）的問題 目前主流的 大語言模型（LLM） 都是基於 自回歸（autoregressive） 方式進行文字產生： 逐步依序 一個 token 一個 token 產生文本，每個 token 依賴前面的輸出。 這種方式在 長文本推理、複雜任務 方面有明顯缺陷： 推理速度慢（尤其是長文時，計算成本極高） 推理錯誤難以修正（一個錯誤可能影響後續所有生成） 難以局部修改（必須重新產生整個文本） 易產生幻覺（hallucination），無法全域最佳化文字質量 擴散大語言模型（dLLM）：全新解決方案 Mercury 採用 擴散模型（Diffusion Model） 進行文字生成，和 影像擴散（Stable Diffusion、Midjourney） 類似： 並行修改多個 token，而不是逐一生成 粗到細（coarse-to-fine） 逐步最佳化輸出，而非簡單預​​測下一個 token 能夠全域最佳化文字結構，減少幻覺、提高一致性 > 擴散 LLM 的核心優勢： > 速度提升 5-10 倍（並行優化多個 token，提高吞吐量）> 減少幻覺（Hallucination）（可全域調整文本，不受前後 token 誤差影響）> 更好的可控性（支援局部修改、插入文字、填

目前全球只有不到 5% 的書籍以有聲書形式發布，這意味著大量文學作品無法以音頻形式觸及更廣泛的受眾。 ElevenLabs宣布推出 ElevenReader Publishing，這是由ElevenLabs開發的新服務，旨在幫助作者將他們的書籍快速、零成本地轉換為沉浸式有聲書，並透過 ElevenReader 的 iOS 和 Android 應用在全球範圍內分發。 >快速轉換：作者可以將書籍的文字上傳，幾分鐘內即可產生有聲書。 >零成本：作者無需支付任何製作費用即可發布有聲書。 >全球分發：有聲書可以透過 ElevenReader 應用程式分發給全球用戶。 >取得收入：作者可以根據聽眾的互動賺取版稅收入 >沉浸式體驗：利用 ElevenLabs 的 AI 技術，提供高品質、沉浸式的語音體驗。 核心功能與優勢 高效製作：作者只需上傳文字檔案（如 EPUB、PDF、TXT 等格式），系統會自動轉換為有聲書，無需手動錄音或複雜編輯。 高品質 AI 語音：利用 ElevenLabs 領先的文字轉語音（TTS）技術，提供自然、富有情感的音訊體驗，支援 32 種語言。 全球發行：透過 ElevenReader 應用，內容可直接面向全球用戶，無需額外的發行管道。 免費參與：目前，該服務對作者和出版商完全免費，降低了進入有聲書市場的門檻。 使用者自訂：聽眾可以在應用程式中選擇不同的 AI 語音和語速，個性化他們的聽書體驗。 適用對象 獨立作者：無需依賴傳統出版商或昂貴的錄音室，獨立作者可以輕鬆將作品轉化為有聲書並推廣。 出版商：為現有書籍增加音訊版本，擴大市場覆蓋率。 內容創作者：希望透過音訊形式觸達更多受眾的作家或機構。 操作流程 在 ElevenReader Publishing 網站（elevenreader.io/publishing）建立免費帳戶。 上傳書稿（支援多種格式，如 EPUB、PDF、TXT、DOCX 等）。 系統自動處理並產生有聲書。 提交審核後，書籍會在 ElevenReader 應用程式中上架，供用戶發現和收聽。 內容要求 為了確保使用者體驗和平台質量，上傳的內容需符合以下標準： 最低字數：2500 字，適用於短篇故事到長篇書籍。 語言限制：目前僅支援英語，未來計畫增加更多語言。 以文字為主：暫不支援有圖片或圖表的書籍，未來

Hume AI推出了一款名為OCTAVE（全能文字與語音引擎），這是一款具有開創性的生成模型具備即時生成語音和人格特質的能力。 OCTAVE結合了EVI 2模型以及 OpenAI 的語音引擎、Elevenlab 的 TTS 語音設計和 Google Deepmind 的 NotebookLM 等系統的能力。可以從簡單的文字描述或5秒語音錄音產生豐富的語音和人格特質，包括性別、年齡、口音、情緒語調及職業特定說話風格等。 它支援多角色互動、即時對話、以及從短錄音中提取並複製聲線與個性。 核心能力從文字轉語音的豐富生成能力：多維屬性控制：OCTAVE能夠根據簡單的文字描述產生高度個人化的語音輸出，包括情緒語調、性別、年齡、口音等屬性。支持產生帶有特定屬性的語音，如性別（男性、女性）、年齡（兒童、青年、老年）、口音（美式英語、英式英語等）。調整語調和節奏來表現不同的情緒和個性。場景適應性：模擬特定職業的語言風格（如老師的耐心語調、醫師的專業語調）。對應情境調整語音風格，增強自然對話感。 使用「學術巫師導師」這樣的提示，OCTAVE 不僅產生高品質的聲音，還創造了新的個性、口音、表情和伴隨的語言——不到 300 毫秒 語音克隆：快速學習：OCTAVE可以從僅5秒的語音錄音中提取發音特徵，克隆聲線和說話風格。可保留原聲線的個人化特點，同時根據需要添加新的情感特質。動態調整：複製的語音不僅能搭配原有聲線，還能根據情境動態調整語音的語調、語速和情感，使其更符合對話需求。地域化口音：可產生地域特色的語音，如印度英語、澳洲英語等，提昇在地化體驗。 從一個非常簡短的音訊片段（約 5 秒），OCTAVE 不僅模仿了說話者的聲音，還在很大程度上克隆了他們的個性 即時互動支援：即時回應：能在毫秒等級完成語音生成，實現真正的即時對話。支援即時對話生成，允許動態調整生成內容。能夠結合使用者輸入的內容即時改變語音和語調。即時調控：使用者或開發者可以動態調整生成語音的屬性（如切換角色、調整語調），實現靈活的互動體驗。多角色對話生成：角色獨立性：支援多個虛擬角色的語音生成，角色之間的語音風格、情緒和口音可以完全不同。在一個會話中同時產生多個角色的語音，模擬真實的多方對話。場景自動化：適合複雜對話場景，例如遊戲劇情對話或多人語音教育內容。在即時對話中輕鬆切換不同角色的語音風格。 OCTAVE 可以在即時

目前的大型語言模型（LLMs）雖然在多任務處理上表現優異，但其主要依賴於基於單字或子詞的逐步生成，與人類多層次抽象推理能力存在差距。 傳統LLMs的局限性 缺乏多層次推理能力：傳統LLMs（如GPT、Claude）在文本生成時逐字預測，雖然效果流暢，但缺乏明確的層次化規劃能力。語言中心化問題：多數LLMs以英語為中心，對低資源語言的支援較弱。長文本產生一致性問題：在產生長文本時，傳統LLMs難以保持邏輯一致性。人類在處理複雜任務時，通常從高層次概念規劃入手，再逐步細化，而現有LLMs缺乏顯性的層次化結構。 Meta AI提出了一種新的大語言模型架構“Large Concept Model (LCM)”，旨在以更高層次的語義表示（概念 concept）進行推理和生成，跨越語言和模態的限制。 與傳統語言模型（如GPT）逐字生成不同，LCM的核心概念是基於「概念」（concept）進行語言處理，把每個句子看作一個「概念」concept），在句子層次進行推理和生成，而不是傳統模型的“詞元”（token）級別操作。它的目標是讓模型更像人類思考，先從大框架著手，再填充細節。 具體來說： 概念（Concept）：在LCM中，一個概念通常對應一個完整的句子，它是語言和模態無關的高階語義表示。設計目標：從更高的抽象層次進行推理和生成，超越現有模型限制，處理更複雜的任務。LCM透過SONAR嵌入空間對句子進行編碼，將文字或語音輸入轉換為高維語義嵌入，並在這些嵌入上進行推理和產生。這使得模型能夠直接在句子層級處理訊息，而不是逐字生成。 思考方式像人類，從「概念」出發，邏輯更清晰。能處理多語言、多模態任務，直接支援文字、語音甚至手語。適合長文本處理，速度快，生成內容更連貫。具備強大的零樣本泛化能力，不用額外訓練也能完成新任務。對照項 傳統模型 (GPT) LCM生成單位 單字或詞元逐字生成 句子或段落層級生成多語言支援 英語為主，部分支援 支援200種語言產生連貫性 長文本邏輯容易混亂 邏輯更清晰，一致性強上下文處理 長上下文效能下降 更好處理長上下文擴展能力 需重新訓練或微調 可直接泛化到新任務LCM 解決了什麼問題傳統LLMs的局限性缺乏多層次推理能力：傳統LLMs（如GPT、Claude）在文本生成時逐字預測，雖然效果流暢，但缺乏明確的層次化規劃能力。語言中心化問題：多數LLMs以

阿里巴巴推出QVQ-72B，一个基于Qwen2-VL-72B的新型多模态推理模型，专注于增强视觉理解与复杂问题解决能力。 其名称中“QVQ”代表了模型关注的视觉理解（Visual understanding）和复杂推理（Reasoning）。 QVQ-72B结合了语言和视觉能力，旨在提供类似于人类专家的推理能力。它在视觉推理、数学和科学问题上表现出显著提升，特别是在多步推理任务中。在MMMU等测试集上获得70.3分，大幅超越Qwen2-VL-72B-Instruct。在数学与科学基准测试（如MathVista、OlympiadBench）中展示出优异成绩，接近当前最先进模型。QVQ-72B 的主要功能视觉理解图片内容分析：能够从图片中提取多层次的信息，包括对象识别、场景理解、颜色、空间关系等。细粒度视觉任务：支持解读复杂的图片内容，如图表、图像中的文字和手写体识别。多模态上下文融合：可以结合图片和文本的语境完成更高层次的分析和理解。语言理解与生成多语言支持：对多种语言（包括中文、英语等）具有深度理解能力，适用于跨语言任务。逐步推理：在文本任务中，采用逻辑分步推理方式，更准确地处理复杂问题，例如长链问题解答。强大的生成能力：能够生成连贯、逻辑清晰的文本答案。跨模态推理多模态训练优化高质量数据训练：使用大规模多模态数据集进行训练，包括图片-文本对齐、图文描述、问答数据等。鲁棒性强：适应各种复杂场景，如图表、自然图片、科学文本等。视觉与文本信息结合：擅长将图片信息与文本信息结合，进行复杂问题的推理和分析。示例：理解图片中的数学公式并结合问题给出答案。问题求解能力：对跨模态问题（如基于图片的推理问题）进行智能解答。科学与数学计算：在科学、工程、数学等专业领域中具备深度推理能力。专业推理能力专注于多步推理，能够以分步方式解决复杂问题：在语言任务中，逐步细化解答，避免逻辑错误。在视觉任务中，通过递归推理层层深入，确保准确性。学术与科研：在数学、物理、化学等领域中的复杂问题求解表现出色。逻辑推理：支持递归推理和分步推导，例如推导物理定律、解决数学奥赛题等。性能表现在 4 个数据集上评估 QVQ-72B-Preview，包括： MMMU：一个大学级别的多学科多模态评测集，旨在考察模型视觉相关的综合理解和推理能力。MathVista：一个数学相关的视觉推理测试集，评估拼图测试图形的

MidJourney 推出個人化檔案和情緒版新功能，目的是讓使用者更容易個性化他們的影像生成流程。 主要功能多個個性化檔案使用者可以建立和管理多個個人化檔案。這樣，你可以為不同的項目或風格設定不同的檔案，每個檔案都保存著不同的個人化參數和設定。更快速的個人化設置設定個人化檔案的過程比之前快了最多 5 倍。使用者可以更迅速地開始調整模型的輸出，節省了時間。透過情緒板（Moodboards）個人化模型用戶可以上傳圖像，創建一個「情緒板」。這些圖像將作為模型的靈感來源，幫助模型根據這些圖像產生更符合你需求的個人化圖像。 。透過這種方式，使用者可以創建自己喜歡的風格或主題，模型會根據這些圖像的特徵來產生新的圖像，從而確保生成的作品符合用戶的需求和創意方向。例如，你可以上傳不同風格的圖像，模型會基於這些圖像創造出符合你風格的作品。 Moodboards 的關鍵作用：風格參考：你可以將自己喜歡的藝術風格、設計元素、色彩組合等添加到心情板中，讓模型從中獲取靈感，產生符合你美感的圖像。創意方向：心情板能夠幫助你明確創作的方向。例如，如果你想創作一組符合「未來科技感」的圖像，可以上傳相關的科幻、現代建築、機械細節等圖像，模型就會根據這些元素來創作。混合創意：透過上傳多種風格、主題或感覺的圖像，模型會將這些圖像混合、重新組合，產生更具創意和多樣化的作品。這對於需要產生獨特視覺效果的用戶非常有用。在 MidJourney 中如何使用 Moodboards：上傳圖像：使用者可以上傳自己喜歡的圖像，這些圖像會成為心情板的元素。上傳的圖像可以是各種風格和內容，如藝術作品、攝影、插圖、自然景觀等。產生客製化影像：上傳圖像後，MidJourney 會分析這些圖像，並將它們作為參考生成新的圖像。隨著你上傳更多圖像，模型將更準確地理解你的風格需求，生成的作品會更符合你的創作意圖。靈感與創意的視覺表達：透過使用 Moodboards，使用者能夠在不直接給出詳細文字描述的情況下，向模型提供視覺指導，使生成的圖像更加接近用戶的美學和創意目標。更多細節個人化檔案「收斂」更快以前，建立一個個人化檔案需要大量的評分（通常需要10,000 個評分），但現在你只需要大約200 個評分就能使檔案達到穩定狀態，甚至2,000 個評分就能讓效果非常好，速度更快。情緒板的作用情緒板不僅僅是用來上傳圖片的地方，當你上傳更多樣

Google發布了其影片和圖像生成模型的更新，包括Veo 2、Imagen 3和一個新實驗工具Whisk。 Veo 2 是oogle最新的影片產生模型，對標OpenAI的Sora，能夠創造具有電影效果的影片。 Veo 2提升了生成影片的現實感和細節，透過引入現實物理和人類動作的元素，產生更自然流暢的動態場景。例如，Veo 2 可以模擬光影變化、物體碰撞、運動軌跡等物理現象，使得產生的影片看起來更具現實感和沈浸感。 Veo 21. 更高品質的影片生成自然逼真的視頻效果：Veo 2能夠產生極其真實的高品質視頻，尤其擅長處理複雜的動作和細節表現。與其前代產品相比，Veo 2提供了更高的影像清晰度和更流暢的動態表現，使得生成的影片與真實世界的影片在視覺上非常接近。多樣化的風格支援：該模型支援多種風格的視訊生成，可以根據使用者的需求生成從現實主義到藝術化、抽象化的視訊風格，為創作提供了更大的自由度。 2. 現實感與物理引擎實體模擬：Veo 2 引入了先進的實體引擎，使得影片中呈現的動態場景更加真實。例如，物體在場景中的運動、碰撞和相互作用都基於現實世界的物理規律進行模擬。自然的光影和環境效果：影片中的光線變化、反射、陰影等自然環境效果得到了優化，使得最終生成的影片更加自然和生動。 3. 人物動作捕捉動態人物建模：Veo 2 可以產生自然流暢的人物動作，特別是在影片中涉及人物時，模型能夠準確捕捉和模擬人類的動作，確保人物在影片中的表現更加逼真。與先前的版本相比，Veo 2產生的動作更為流暢和自然，避免了運動不連貫或不符合物理規律的情況。高幀率支援：Veo 2在處理高幀率的影片時表現特別出色，能夠更好地捕捉快速移動的物體或人物，確保動態表現不會出現拖影或卡頓現象。人類姿態與運動：此模型能夠細緻地捕捉人類的姿勢、運動軌跡，並以高精度呈現，適合用於需要高度還原人類行為和情感的場景。 4. 電影級視覺效果電影化的場景呈現：Veo 2 強調電影級的視覺效果，能夠產生具有深度感和層次感的場景，適用於廣告製作、電影特效、虛擬環境等高品質創意項目。創作空間：Veo 2 為創作者提供了極大的創作空間，可以產生包括動作場景、靜態場景、幻想世界等多種類型的場景，滿足創意產業的多種需求。 5.靈活的鏡頭控制與場景調整鏡頭角度控制：Veo 2提供了靈活的鏡頭控制選項，讓使用者可以調整影片中的鏡頭角度、

Stripe Agent Toolkit 是專為將財務功能整合到 AI 代理中的 SDK。它允許開發者透過函數呼叫和 API，將 Stripe 支付和財務服務功能 嵌入到使用大語言模型（LLMs）驅動的自動化工作流程中。 透過該工具包，開發者可以讓 AI 代理直接使用 Stripe 的功能，例如發送發票、基於使用的代幣數量進行收費等。 也就是你可以賦予AI 代理來自動幫你進行一些支付的工作，幫你實現真正的自動購物、訂票和處理各種財務工作。 Stripe Agent Toolkit 讓開發者能利用 Stripe 的支付能力建構更聰明的 AI 解決方案。讓 AI 應用能直接處理金融交易，進而縮短 AI 與實際應用場景之間的距離。 場景範例： 假設您有一個虛擬旅行代理，能夠透過 大語言模型（LLMs） 和函數呼叫（Function Calling）： 搜尋航班：基於使用者輸入（如起點、終點、日期、預算）查詢航班選項。 返回選項：產生結果並展示給使用者選擇。 完成購買：選擇航班後，代理商自動處理付款流程。 透過 Stripe 的功能，該代理商不僅能搜尋航班，還能執行支付操作，從查詢到完成購買實現完全自動化。 StripeAgentToolkit的主要功能 增強 AI 代理的功能： 讓 AI 代理不僅能執行常規任務，還具備財務管理能力，例如處理付款、產生發票和動態計費。 整合支付服務： 支付連結產生：建立支付連結並將其嵌入到工作流程中。 發票產生：支援開立發票功能，方便代理發送帳單給使用者。 虛擬卡發行：使用 Stripe Issuing API 產生虛擬卡，可用於單次或特定額度的消費。 提升 AI 代理在實際商業場景中的應用價值。 簡化財務功能整合： 為開發者提供一站式解決方案，透過簡單的 API 呼叫即可實現複雜的財務操作。 減少開發者在支付系統整合上的時間和成本。 推動 AI 在商業領域的普及： 透過提供安全、可靠、易用的支付功能，幫助企業更容易將 AI 應用部署到需要支付功能的業務場景中（如電商、SaaS 平台和訂閱服務）。 提升支付操作的效率與可靠性： 自動化支付相關流程，例如處理使用者要求的付款操作、產生帳單或按使用量收費。 透過減少人工幹預和降低錯誤率，提高財務處理效率。 即時授權與消費控制： 提供即時授權 API，用於監控虛擬卡的使用。 支援設定消費預算和限