Hume AI推出了一款名為OCTAVE（全能文字與語音引擎），這是一款具有開創性的生成模型具備即時生成語音和人格特質的能力。 OCTAVE結合了EVI 2模型以及 OpenAI 的語音引擎、Elevenlab 的 TTS 語音設計和 Google Deepmind 的 NotebookLM 等系統的能力。可以從簡單的文字描述或5秒語音錄音產生豐富的語音和人格特質，包括性別、年齡、口音、情緒語調及職業特定說話風格等。 它支援多角色互動、即時對話、以及從短錄音中提取並複製聲線與個性。 核心能力從文字轉語音的豐富生成能力：多維屬性控制：OCTAVE能夠根據簡單的文字描述產生高度個人化的語音輸出，包括情緒語調、性別、年齡、口音等屬性。支持產生帶有特定屬性的語音，如性別（男性、女性）、年齡（兒童、青年、老年）、口音（美式英語、英式英語等）。調整語調和節奏來表現不同的情緒和個性。場景適應性：模擬特定職業的語言風格（如老師的耐心語調、醫師的專業語調）。對應情境調整語音風格，增強自然對話感。 使用「學術巫師導師」這樣的提示，OCTAVE 不僅產生高品質的聲音，還創造了新的個性、口音、表情和伴隨的語言——不到 300 毫秒 語音克隆：快速學習：OCTAVE可以從僅5秒的語音錄音中提取發音特徵，克隆聲線和說話風格。可保留原聲線的個人化特點，同時根據需要添加新的情感特質。動態調整：複製的語音不僅能搭配原有聲線，還能根據情境動態調整語音的語調、語速和情感，使其更符合對話需求。地域化口音：可產生地域特色的語音，如印度英語、澳洲英語等，提昇在地化體驗。 從一個非常簡短的音訊片段（約 5 秒），OCTAVE 不僅模仿了說話者的聲音，還在很大程度上克隆了他們的個性 即時互動支援：即時回應：能在毫秒等級完成語音生成，實現真正的即時對話。支援即時對話生成，允許動態調整生成內容。能夠結合使用者輸入的內容即時改變語音和語調。即時調控：使用者或開發者可以動態調整生成語音的屬性（如切換角色、調整語調），實現靈活的互動體驗。多角色對話生成：角色獨立性：支援多個虛擬角色的語音生成，角色之間的語音風格、情緒和口音可以完全不同。在一個會話中同時產生多個角色的語音，模擬真實的多方對話。場景自動化：適合複雜對話場景，例如遊戲劇情對話或多人語音教育內容。在即時對話中輕鬆切換不同角色的語音風格。 OCTAVE 可以在即時

目前的大型語言模型（LLMs）雖然在多任務處理上表現優異，但其主要依賴於基於單字或子詞的逐步生成，與人類多層次抽象推理能力存在差距。 傳統LLMs的局限性 缺乏多層次推理能力：傳統LLMs（如GPT、Claude）在文本生成時逐字預測，雖然效果流暢，但缺乏明確的層次化規劃能力。語言中心化問題：多數LLMs以英語為中心，對低資源語言的支援較弱。長文本產生一致性問題：在產生長文本時，傳統LLMs難以保持邏輯一致性。人類在處理複雜任務時，通常從高層次概念規劃入手，再逐步細化，而現有LLMs缺乏顯性的層次化結構。 Meta AI提出了一種新的大語言模型架構“Large Concept Model (LCM)”，旨在以更高層次的語義表示（概念 concept）進行推理和生成，跨越語言和模態的限制。 與傳統語言模型（如GPT）逐字生成不同，LCM的核心概念是基於「概念」（concept）進行語言處理，把每個句子看作一個「概念」concept），在句子層次進行推理和生成，而不是傳統模型的“詞元”（token）級別操作。它的目標是讓模型更像人類思考，先從大框架著手，再填充細節。 具體來說： 概念（Concept）：在LCM中，一個概念通常對應一個完整的句子，它是語言和模態無關的高階語義表示。設計目標：從更高的抽象層次進行推理和生成，超越現有模型限制，處理更複雜的任務。LCM透過SONAR嵌入空間對句子進行編碼，將文字或語音輸入轉換為高維語義嵌入，並在這些嵌入上進行推理和產生。這使得模型能夠直接在句子層級處理訊息，而不是逐字生成。 思考方式像人類，從「概念」出發，邏輯更清晰。能處理多語言、多模態任務，直接支援文字、語音甚至手語。適合長文本處理，速度快，生成內容更連貫。具備強大的零樣本泛化能力，不用額外訓練也能完成新任務。對照項 傳統模型 (GPT) LCM生成單位 單字或詞元逐字生成 句子或段落層級生成多語言支援 英語為主，部分支援 支援200種語言產生連貫性 長文本邏輯容易混亂 邏輯更清晰，一致性強上下文處理 長上下文效能下降 更好處理長上下文擴展能力 需重新訓練或微調 可直接泛化到新任務LCM 解決了什麼問題傳統LLMs的局限性缺乏多層次推理能力：傳統LLMs（如GPT、Claude）在文本生成時逐字預測，雖然效果流暢，但缺乏明確的層次化規劃能力。語言中心化問題：多數LLMs以

阿里巴巴推出QVQ-72B，一个基于Qwen2-VL-72B的新型多模态推理模型，专注于增强视觉理解与复杂问题解决能力。 其名称中“QVQ”代表了模型关注的视觉理解（Visual understanding）和复杂推理（Reasoning）。 QVQ-72B结合了语言和视觉能力，旨在提供类似于人类专家的推理能力。它在视觉推理、数学和科学问题上表现出显著提升，特别是在多步推理任务中。在MMMU等测试集上获得70.3分，大幅超越Qwen2-VL-72B-Instruct。在数学与科学基准测试（如MathVista、OlympiadBench）中展示出优异成绩，接近当前最先进模型。QVQ-72B 的主要功能视觉理解图片内容分析：能够从图片中提取多层次的信息，包括对象识别、场景理解、颜色、空间关系等。细粒度视觉任务：支持解读复杂的图片内容，如图表、图像中的文字和手写体识别。多模态上下文融合：可以结合图片和文本的语境完成更高层次的分析和理解。语言理解与生成多语言支持：对多种语言（包括中文、英语等）具有深度理解能力，适用于跨语言任务。逐步推理：在文本任务中，采用逻辑分步推理方式，更准确地处理复杂问题，例如长链问题解答。强大的生成能力：能够生成连贯、逻辑清晰的文本答案。跨模态推理多模态训练优化高质量数据训练：使用大规模多模态数据集进行训练，包括图片-文本对齐、图文描述、问答数据等。鲁棒性强：适应各种复杂场景，如图表、自然图片、科学文本等。视觉与文本信息结合：擅长将图片信息与文本信息结合，进行复杂问题的推理和分析。示例：理解图片中的数学公式并结合问题给出答案。问题求解能力：对跨模态问题（如基于图片的推理问题）进行智能解答。科学与数学计算：在科学、工程、数学等专业领域中具备深度推理能力。专业推理能力专注于多步推理，能够以分步方式解决复杂问题：在语言任务中，逐步细化解答，避免逻辑错误。在视觉任务中，通过递归推理层层深入，确保准确性。学术与科研：在数学、物理、化学等领域中的复杂问题求解表现出色。逻辑推理：支持递归推理和分步推导，例如推导物理定律、解决数学奥赛题等。性能表现在 4 个数据集上评估 QVQ-72B-Preview，包括： MMMU：一个大学级别的多学科多模态评测集，旨在考察模型视觉相关的综合理解和推理能力。MathVista：一个数学相关的视觉推理测试集，评估拼图测试图形的

MidJourney 推出個人化檔案和情緒版新功能，目的是讓使用者更容易個性化他們的影像生成流程。 主要功能多個個性化檔案使用者可以建立和管理多個個人化檔案。這樣，你可以為不同的項目或風格設定不同的檔案，每個檔案都保存著不同的個人化參數和設定。更快速的個人化設置設定個人化檔案的過程比之前快了最多 5 倍。使用者可以更迅速地開始調整模型的輸出，節省了時間。透過情緒板（Moodboards）個人化模型用戶可以上傳圖像，創建一個「情緒板」。這些圖像將作為模型的靈感來源，幫助模型根據這些圖像產生更符合你需求的個人化圖像。 。透過這種方式，使用者可以創建自己喜歡的風格或主題，模型會根據這些圖像的特徵來產生新的圖像，從而確保生成的作品符合用戶的需求和創意方向。例如，你可以上傳不同風格的圖像，模型會基於這些圖像創造出符合你風格的作品。 Moodboards 的關鍵作用：風格參考：你可以將自己喜歡的藝術風格、設計元素、色彩組合等添加到心情板中，讓模型從中獲取靈感，產生符合你美感的圖像。創意方向：心情板能夠幫助你明確創作的方向。例如，如果你想創作一組符合「未來科技感」的圖像，可以上傳相關的科幻、現代建築、機械細節等圖像，模型就會根據這些元素來創作。混合創意：透過上傳多種風格、主題或感覺的圖像，模型會將這些圖像混合、重新組合，產生更具創意和多樣化的作品。這對於需要產生獨特視覺效果的用戶非常有用。在 MidJourney 中如何使用 Moodboards：上傳圖像：使用者可以上傳自己喜歡的圖像，這些圖像會成為心情板的元素。上傳的圖像可以是各種風格和內容，如藝術作品、攝影、插圖、自然景觀等。產生客製化影像：上傳圖像後，MidJourney 會分析這些圖像，並將它們作為參考生成新的圖像。隨著你上傳更多圖像，模型將更準確地理解你的風格需求，生成的作品會更符合你的創作意圖。靈感與創意的視覺表達：透過使用 Moodboards，使用者能夠在不直接給出詳細文字描述的情況下，向模型提供視覺指導，使生成的圖像更加接近用戶的美學和創意目標。更多細節個人化檔案「收斂」更快以前，建立一個個人化檔案需要大量的評分（通常需要10,000 個評分），但現在你只需要大約200 個評分就能使檔案達到穩定狀態，甚至2,000 個評分就能讓效果非常好，速度更快。情緒板的作用情緒板不僅僅是用來上傳圖片的地方，當你上傳更多樣

Google發布了其影片和圖像生成模型的更新，包括Veo 2、Imagen 3和一個新實驗工具Whisk。 Veo 2 是oogle最新的影片產生模型，對標OpenAI的Sora，能夠創造具有電影效果的影片。 Veo 2提升了生成影片的現實感和細節，透過引入現實物理和人類動作的元素，產生更自然流暢的動態場景。例如，Veo 2 可以模擬光影變化、物體碰撞、運動軌跡等物理現象，使得產生的影片看起來更具現實感和沈浸感。 Veo 21. 更高品質的影片生成自然逼真的視頻效果：Veo 2能夠產生極其真實的高品質視頻，尤其擅長處理複雜的動作和細節表現。與其前代產品相比，Veo 2提供了更高的影像清晰度和更流暢的動態表現，使得生成的影片與真實世界的影片在視覺上非常接近。多樣化的風格支援：該模型支援多種風格的視訊生成，可以根據使用者的需求生成從現實主義到藝術化、抽象化的視訊風格，為創作提供了更大的自由度。 2. 現實感與物理引擎實體模擬：Veo 2 引入了先進的實體引擎，使得影片中呈現的動態場景更加真實。例如，物體在場景中的運動、碰撞和相互作用都基於現實世界的物理規律進行模擬。自然的光影和環境效果：影片中的光線變化、反射、陰影等自然環境效果得到了優化，使得最終生成的影片更加自然和生動。 3. 人物動作捕捉動態人物建模：Veo 2 可以產生自然流暢的人物動作，特別是在影片中涉及人物時，模型能夠準確捕捉和模擬人類的動作，確保人物在影片中的表現更加逼真。與先前的版本相比，Veo 2產生的動作更為流暢和自然，避免了運動不連貫或不符合物理規律的情況。高幀率支援：Veo 2在處理高幀率的影片時表現特別出色，能夠更好地捕捉快速移動的物體或人物，確保動態表現不會出現拖影或卡頓現象。人類姿態與運動：此模型能夠細緻地捕捉人類的姿勢、運動軌跡，並以高精度呈現，適合用於需要高度還原人類行為和情感的場景。 4. 電影級視覺效果電影化的場景呈現：Veo 2 強調電影級的視覺效果，能夠產生具有深度感和層次感的場景，適用於廣告製作、電影特效、虛擬環境等高品質創意項目。創作空間：Veo 2 為創作者提供了極大的創作空間，可以產生包括動作場景、靜態場景、幻想世界等多種類型的場景，滿足創意產業的多種需求。 5.靈活的鏡頭控制與場景調整鏡頭角度控制：Veo 2提供了靈活的鏡頭控制選項，讓使用者可以調整影片中的鏡頭角度、