近期，清華大學(xué)高性能計(jì)算研究所傳來(lái)重大消息，翟季冬教授團(tuán)隊(duì)攜手清華背景的科創(chuàng)先鋒清程極智，共同揭曉了一項(xiàng)開(kāi)源大模型推理引擎——“赤兔Chitu”。這一創(chuàng)新成果為國(guó)產(chǎn)AI芯片的普及應(yīng)用和生態(tài)建設(shè)鋪設(shè)了新的道路。

“赤兔Chitu”實(shí)現(xiàn)了在非英偉達(dá)Hopper架構(gòu)GPU及多種國(guó)產(chǎn)芯片上直接運(yùn)行FP8精度模型的歷史性突破，打破了此前FP8精度模型對(duì)英偉達(dá)Hopper架構(gòu)（例如H100/H200）的硬件束縛，為行業(yè)帶來(lái)了更多選擇。

在A800集群的實(shí)際測(cè)試中，“赤兔”引擎展現(xiàn)了驚人的性能。在GPU使用量減半的情況下，推理速度卻提升了3.15倍，這一成果不僅大幅降低了企業(yè)的硬件投入成本，還顯著提升了運(yùn)算效率。

“赤兔”引擎的智能優(yōu)化技術(shù)具備強(qiáng)大的兼容性，能夠迅速適應(yīng)不同的芯片架構(gòu)。這意味著國(guó)產(chǎn)硬件廠商無(wú)需再投入大量資源進(jìn)行軟件重復(fù)開(kāi)發(fā)，可以將更多精力集中在硬件的升級(jí)與優(yōu)化上。目前，清程極智已經(jīng)與沐曦、燧原等領(lǐng)先廠商攜手，推出了即插即用的推理一體機(jī)，在金融、醫(yī)療等多個(gè)領(lǐng)域得到了廣泛應(yīng)用。

清程極智的CEO湯雄超強(qiáng)調(diào)，目前國(guó)內(nèi)在推理引擎這一關(guān)鍵環(huán)節(jié)上，仍然缺乏達(dá)到生產(chǎn)級(jí)標(biāo)準(zhǔn)的開(kāi)源產(chǎn)品。“赤兔”引擎的開(kāi)源，是推動(dòng)國(guó)內(nèi)AI生態(tài)建設(shè)的關(guān)鍵一步，它將為行業(yè)帶來(lái)更加高效、靈活的技術(shù)支撐，助力行業(yè)實(shí)現(xiàn)更快發(fā)展。