紅帽5月19日宣布推出紅帽 AI 推理服務器，該服務器使企業能夠更快、更高效地運行生成式 AI 應用。

本周在波士頓舉行的紅帽峰會上發布的這款全新 AI 推理服務器軟件，基于開源 vLLM project 開發，并融合了紅帽近期收購初創公司 Neural Magic 的技術成果。

該服務器具備對訓練好的 AI 模型進行壓縮的工具，從而使模型運行更加高效。公司表示，它還更高效地利用處理器內存，能夠在混合云環境中實現更快的推理速度。

業內分析師認為，紅帽的這一舉措表明，AI 加速不僅依靠高速處理器，還需要經過優化的軟件支持。

IDC 全球研究集團副總裁 Rick Villars 對 Data Center Knowledge 表示：“AI 對計算系統的壓力很大，隨著 AI 代理的出現，未來這種壓力會更大。紅帽的意思是，他們希望幫助你優化投資。

“從模型構建到將其嵌入到業務流程或客戶體驗中，他們將在軟件層面竭盡全力確保你能獲得最佳性能。”

優化后的 AI 模型

紅帽 AI 推理服務器能夠加速推理過程，這意味著它不僅能更快速地響應生成式 AI 模型，還能同時處理更多用戶請求而無需額外硬件，紅帽表示。

該軟件通過像更好的內存管理和持續批量處理等技術，優化了 GPU 的使用。紅帽一位發言人稱，這項技術可以優化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。

此外，AI 推理服務器還可用于優化 AI 模型，例如 DeepSeek、Google 的 Gemma、Meta 的開源 Llama、Mistral、Microsoft 的 Phi 及其他大語言模型。

紅帽表示，會在 Hugging Face 平臺上提供經過驗證和優化的 AI 模型。

紅帽高級副總裁兼 AI 首席技術官 Brian Stevens 在媒體簡報會上表示：“基于 vLLM 運行的預優化模型通常能實現兩到四倍的 Token 產出 —— 即擁有更高的效率。”

Stevens 補充道，在 vLLM 兩年前推出之前，推理服務器選項十分有限，唯有 Nvidia 在其軟件堆棧中提供了一個解決方案。而如今，由于其易用性、能夠運行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多種 AI 加速器，vLLM 已獲得廣泛認可。

紅帽此次推出的 AI 推理服務器即是 vLLM 的實現，可作為獨立的容器化產品部署，同時也能整合至紅帽的 AI 軟件產品組合中。其中包括為 AI 定制的開源操作系統版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化環境中構建和部署 AI 應用的平臺 Red Hat OpenShift AI，無論是在本地還是云端均可使用。

虛擬化市場增長

在本周的紅帽峰會上，紅帽高管透露，自 2024 年以來，Red Hat OpenShift Virtualization 部署數量已增長超過 150%。

為吸引更多虛擬化客戶，紅帽表示，Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技術預覽或公開預覽的形式推出 Red Hat OpenShift Virtualization。

此外，紅帽還宣布，其虛擬化軟件現已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。

紅帽混合云平臺副總裁兼總經理 Mike Barrett 在媒體簡報會上表示：“客戶在選擇下一代虛擬化平臺時，往往會根據他們的基礎設施選擇而定，因此我們必須真正精煉和構建與各大云提供商之間的合作關系。”

IDC 軟件開發、 DevOps 和 DevSecOps 項目副總裁 Jim Mercer 指出，紅帽在改善其虛擬化軟件方面投入了大量精力。雖然該公司并未明確表示其產品在所有功能上與競爭對手 Broadcom 完全匹配，但紅帽暗示，其產品已具備客戶所需求的大部分主流虛擬化功能。

Mercer 表示：“很多使用 Red Hat OpenShift 的客戶同時也在使用 VMware vSphere，因此紅帽已經占據了一定的市場份額。紅帽正試圖利用大家對其作為一個優秀合作伙伴的認可，來協助客戶實現遷移，并盡可能讓遷移過程變得輕松。”

在紅帽峰會上，公司還宣布了以下內容：

Red Hat Enterprise Linux 10。該新操作系統現已上市，新增的安全功能可防范未來量子計算機可能發起的攻擊。其“鏡像模式”功能允許操作系統作為可啟動的容器鏡像進行部署。通過對操作系統和應用程序進行容器化，企業可以利用統一、標準化的工具和工作流程來簡化管理。

全新的 llm-d 開源社區以擴展推理能力。紅帽宣布成立 llm-d 社區，其目標是利用 vLLM 并通過分布式方法擴展推理能力。創始貢獻者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成員還包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。

Lightspeed 生成式 AI 助手。為應對技能差距問題，紅帽在 Enterprise Linux 10 中推出 Lightspeed，使 IT 管理員可以借助自然語言來獲得從故障排除常見問題到管理復雜環境等方面的幫助。紅帽計劃于六月發布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 環境的生成式 AI 助手。

紅帽高級開發者套件。紅帽宣布推出高級開發者套件，該套件結合了平臺工程工具和安全能力。