紅帽5月19日宣布推出紅帽 AI 推理服務(wù)器，該服務(wù)器使企業(yè)能夠更快、更高效地運(yùn)行生成式 AI 應(yīng)用。

本周在波士頓舉行的紅帽峰會(huì)上發(fā)布的這款全新 AI 推理服務(wù)器軟件，基于開(kāi)源 vLLM project 開(kāi)發(fā)，并融合了紅帽近期收購(gòu)初創(chuàng)公司 Neural Magic 的技術(shù)成果。

該服務(wù)器具備對(duì)訓(xùn)練好的 AI 模型進(jìn)行壓縮的工具，從而使模型運(yùn)行更加高效。公司表示，它還更高效地利用處理器內(nèi)存，能夠在混合云環(huán)境中實(shí)現(xiàn)更快的推理速度。

業(yè)內(nèi)分析師認(rèn)為，紅帽的這一舉措表明，AI 加速不僅依靠高速處理器，還需要經(jīng)過(guò)優(yōu)化的軟件支持。

IDC 全球研究集團(tuán)副總裁 Rick Villars 對(duì) Data Center Knowledge 表示：“AI 對(duì)計(jì)算系統(tǒng)的壓力很大，隨著 AI 代理的出現(xiàn)，未來(lái)這種壓力會(huì)更大。紅帽的意思是，他們希望幫助你優(yōu)化投資。

“從模型構(gòu)建到將其嵌入到業(yè)務(wù)流程或客戶體驗(yàn)中，他們將在軟件層面竭盡全力確保你能獲得最佳性能。”

優(yōu)化后的 AI 模型

紅帽 AI 推理服務(wù)器能夠加速推理過(guò)程，這意味著它不僅能更快速地響應(yīng)生成式 AI 模型，還能同時(shí)處理更多用戶請(qǐng)求而無(wú)需額外硬件，紅帽表示。

該軟件通過(guò)像更好的內(nèi)存管理和持續(xù)批量處理等技術(shù)，優(yōu)化了 GPU 的使用。紅帽一位發(fā)言人稱，這項(xiàng)技術(shù)可以優(yōu)化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。

此外，AI 推理服務(wù)器還可用于優(yōu)化 AI 模型，例如 DeepSeek、Google 的 Gemma、Meta 的開(kāi)源 Llama、Mistral、Microsoft 的 Phi 及其他大語(yǔ)言模型。

紅帽表示，會(huì)在 Hugging Face 平臺(tái)上提供經(jīng)過(guò)驗(yàn)證和優(yōu)化的 AI 模型。

紅帽高級(jí)副總裁兼 AI 首席技術(shù)官 Brian Stevens 在媒體簡(jiǎn)報(bào)會(huì)上表示：“基于 vLLM 運(yùn)行的預(yù)優(yōu)化模型通常能實(shí)現(xiàn)兩到四倍的 Token 產(chǎn)出 —— 即擁有更高的效率。”

Stevens 補(bǔ)充道，在 vLLM 兩年前推出之前，推理服務(wù)器選項(xiàng)十分有限，唯有 Nvidia 在其軟件堆棧中提供了一個(gè)解決方案。而如今，由于其易用性、能夠運(yùn)行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多種 AI 加速器，vLLM 已獲得廣泛認(rèn)可。

紅帽此次推出的 AI 推理服務(wù)器即是 vLLM 的實(shí)現(xiàn)，可作為獨(dú)立的容器化產(chǎn)品部署，同時(shí)也能整合至紅帽的 AI 軟件產(chǎn)品組合中。其中包括為 AI 定制的開(kāi)源操作系統(tǒng)版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化環(huán)境中構(gòu)建和部署 AI 應(yīng)用的平臺(tái) Red Hat OpenShift AI，無(wú)論是在本地還是云端均可使用。

虛擬化市場(chǎng)增長(zhǎng)

在本周的紅帽峰會(huì)上，紅帽高管透露，自 2024 年以來(lái)，Red Hat OpenShift Virtualization 部署數(shù)量已增長(zhǎng)超過(guò) 150%。

為吸引更多虛擬化客戶，紅帽表示，Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技術(shù)預(yù)覽或公開(kāi)預(yù)覽的形式推出 Red Hat OpenShift Virtualization。

此外，紅帽還宣布，其虛擬化軟件現(xiàn)已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。

紅帽混合云平臺(tái)副總裁兼總經(jīng)理 Mike Barrett 在媒體簡(jiǎn)報(bào)會(huì)上表示：“客戶在選擇下一代虛擬化平臺(tái)時(shí)，往往會(huì)根據(jù)他們的基礎(chǔ)設(shè)施選擇而定，因此我們必須真正精煉和構(gòu)建與各大云提供商之間的合作關(guān)系。”

IDC 軟件開(kāi)發(fā)、 DevOps 和 DevSecOps 項(xiàng)目副總裁 Jim Mercer 指出，紅帽在改善其虛擬化軟件方面投入了大量精力。雖然該公司并未明確表示其產(chǎn)品在所有功能上與競(jìng)爭(zhēng)對(duì)手 Broadcom 完全匹配，但紅帽暗示，其產(chǎn)品已具備客戶所需求的大部分主流虛擬化功能。

Mercer 表示：“很多使用 Red Hat OpenShift 的客戶同時(shí)也在使用 VMware vSphere，因此紅帽已經(jīng)占據(jù)了一定的市場(chǎng)份額。紅帽正試圖利用大家對(duì)其作為一個(gè)優(yōu)秀合作伙伴的認(rèn)可，來(lái)協(xié)助客戶實(shí)現(xiàn)遷移，并盡可能讓遷移過(guò)程變得輕松。”

在紅帽峰會(huì)上，公司還宣布了以下內(nèi)容：

Red Hat Enterprise Linux 10。該新操作系統(tǒng)現(xiàn)已上市，新增的安全功能可防范未來(lái)量子計(jì)算機(jī)可能發(fā)起的攻擊。其“鏡像模式”功能允許操作系統(tǒng)作為可啟動(dòng)的容器鏡像進(jìn)行部署。通過(guò)對(duì)操作系統(tǒng)和應(yīng)用程序進(jìn)行容器化，企業(yè)可以利用統(tǒng)一、標(biāo)準(zhǔn)化的工具和工作流程來(lái)簡(jiǎn)化管理。

全新的 llm-d 開(kāi)源社區(qū)以擴(kuò)展推理能力。紅帽宣布成立 llm-d 社區(qū)，其目標(biāo)是利用 vLLM 并通過(guò)分布式方法擴(kuò)展推理能力。創(chuàng)始貢獻(xiàn)者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成員還包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。

Lightspeed 生成式 AI 助手。為應(yīng)對(duì)技能差距問(wèn)題，紅帽在 Enterprise Linux 10 中推出 Lightspeed，使 IT 管理員可以借助自然語(yǔ)言來(lái)獲得從故障排除常見(jiàn)問(wèn)題到管理復(fù)雜環(huán)境等方面的幫助。紅帽計(jì)劃于六月發(fā)布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 環(huán)境的生成式 AI 助手。

紅帽高級(jí)開(kāi)發(fā)者套件。紅帽宣布推出高級(jí)開(kāi)發(fā)者套件，該套件結(jié)合了平臺(tái)工程工具和安全能力。