2023年9月 29日,由阿里云、NVIDIA聯(lián)合主辦,阿里云天池平臺(tái)承辦的“NVIDIA TensorRT Hackathon 2023生成式 AI模型優(yōu)化賽”圓滿(mǎn)落幕。該賽事自2020年以來(lái),已成功舉辦三屆,本屆賽事于今年 7月啟動(dòng),吸引了來(lái)自全國(guó)729支開(kāi)發(fā)者團(tuán)隊(duì)報(bào)名參賽,其中共有 40支團(tuán)隊(duì)晉級(jí)復(fù)賽,最終 26支團(tuán)隊(duì)于決賽中脫穎而出,分獲冠軍/亞軍/季軍及優(yōu)勝獎(jiǎng),展現(xiàn)出了卓越的技術(shù)實(shí)力。
解鎖 TensorRT-LLM挖掘生成式 AI新需求
今年的NVIDIA TensorRT Hackathon著重提升選手開(kāi)發(fā) TensorRT應(yīng)用的能力。
在過(guò)去的一年里,生成式 AI迎來(lái)了爆發(fā)式增長(zhǎng)。計(jì)算機(jī)能夠批量生成大量圖像和文本,有的甚至能夠媲美專(zhuān)業(yè)創(chuàng)作者的作品。這為未來(lái)生成式 AI模型的發(fā)展鋪平了道路,令人充滿(mǎn)期待。正因如此,NVIDIA TensorRT Hackathon 2023選擇生成式 AI模型作為比賽的主題,以激發(fā)選手的創(chuàng)新潛力。
今年的比賽設(shè)置了初賽和復(fù)賽兩組賽題——初賽階段,選手需要利用 TensorRT加速帶有 ControlNet的 Stable Diffusion pipeline,以?xún)?yōu)化后的運(yùn)行時(shí)間和出圖質(zhì)量作為主要排名依據(jù);復(fù)賽為開(kāi)放賽題,選手可自由選擇公開(kāi)的 Transformer模型,并利用 TensorRT或 NVIDIA TensorRT-LLM進(jìn)行模型推理優(yōu)化。
NVIDIA TensorRT™作為 GPU上的 AI推理加速庫(kù),一直以來(lái)都備受業(yè)界認(rèn)可與青睞。本次比賽的背后是 NVIDIA TensorRT開(kāi)發(fā)團(tuán)隊(duì)對(duì)產(chǎn)品不斷進(jìn)行改進(jìn)和優(yōu)化的結(jié)果。通過(guò)讓更多模型能夠順利通過(guò) ONNX自動(dòng)解析得到加速,并對(duì)常見(jiàn)模型結(jié)構(gòu)進(jìn)行深度優(yōu)化,極大地提高了 TensorRT的可用性和性能。這意味著大部分模型無(wú)需經(jīng)過(guò)繁瑣的手工優(yōu)化,就能夠在 TensorRT上有出色的性能表現(xiàn)。
TensorRT-LLM是 NVIDIA即將推出用于大語(yǔ)言模型推理的工具,目前已于官網(wǎng)開(kāi)放試用。作為此次復(fù)賽推薦使用的開(kāi)發(fā)工具之一,TensorRT-LLM包含 TensorRT深度學(xué)習(xí)編譯器,并且?guī)в薪?jīng)過(guò)優(yōu)化的 CUDA kernel、前處理和后處理步驟,以及多 GPU/多節(jié)點(diǎn)通信,可以在 NVIDIA GPU上提供出類(lèi)拔萃的性能。它通過(guò)一個(gè)開(kāi)源的模塊化 Python應(yīng)用 API提高易用性和可擴(kuò)展性,使開(kāi)發(fā)人員能夠嘗試新的 LLM,提供最頂尖的性能和快速自定義功能,且不需要開(kāi)發(fā)人員具備深厚的 C++或 CUDA知識(shí)。
作為本次大賽的主辦方之一,阿里云天池平臺(tái)為參賽選手提供了卓越的云上技術(shù)支持,在阿里云GPU云服務(wù)器中內(nèi)置 NVIDIA A10 Tensor Core GPU,參賽者通過(guò)云上實(shí)例進(jìn)行開(kāi)發(fā)和訓(xùn)練優(yōu)化模型,體驗(yàn)云開(kāi)發(fā)時(shí)代的AI工程化魅力。同時(shí),由NVIDIA 30名工程師組成導(dǎo)師團(tuán)隊(duì),為晉級(jí)復(fù)賽的 40支隊(duì)伍提供一對(duì)一輔導(dǎo)陪賽,助力選手獲得佳績(jī)。
從實(shí)踐到迭代腦力與創(chuàng)造力的集中比拼
本次比賽中涌現(xiàn)出大量?jī)?yōu)秀的開(kāi)發(fā)者。在獲獎(jiǎng)的 26支團(tuán)隊(duì)中,有不少團(tuán)隊(duì)選擇借助 TensorRT-LLM對(duì)通義千問(wèn)-7B進(jìn)行模型推理優(yōu)化。
通義千問(wèn)-7B(Qwen-7B)是阿里云研發(fā)的通義千問(wèn)大模型系列的 70億參數(shù)規(guī)模的模型,基于 Transformer的大語(yǔ)言模型,在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。在 Qwen-7B的基礎(chǔ)上,還使用對(duì)齊機(jī)制打造了基于大語(yǔ)言模型的 AI助手 Qwen-7B-Chat。
獲得此次比賽一等獎(jiǎng)的“無(wú)聲優(yōu)化者(著)”團(tuán)隊(duì),選擇使用 TensorRT-LLM完成對(duì) Qwen-7B-Chat實(shí)現(xiàn)推理加速。在開(kāi)發(fā)過(guò)程中,克服了 Hugging Face轉(zhuǎn) Tensor-LLM、首次運(yùn)行報(bào)顯存分配錯(cuò)誤、模型 logits無(wú)法對(duì)齊等挑戰(zhàn)與困難,最終在優(yōu)化效果上,吞吐量最高提升了4.57倍,生成速度最高提升了5.56倍。
而獲得此次賽事二等獎(jiǎng)的“NaN-emm”團(tuán)隊(duì),在復(fù)賽階段,則選擇使用 TensorRT-LLM實(shí)現(xiàn) RPTQ量化。RPTQ是一種新穎的基于重排序的量化方法,同時(shí)量化了權(quán)重與中間結(jié)果(W8A8),加速了計(jì)算。從最開(kāi)始不熟悉任何 LLM模型,到后續(xù)逐步學(xué)習(xí)和了解相關(guān)技術(shù),“NaN-emm”團(tuán)隊(duì)啟用了GEMM plugin,GPT Attention plugin,完成了 VIT、Q-Former、Vicuna-7B模型的轉(zhuǎn)化,最終通過(guò) 40個(gè)測(cè)試數(shù)據(jù),基于 Torch框架推理耗時(shí) 145秒,而經(jīng)過(guò) TensorRT-LLM優(yōu)化的推理引擎耗時(shí)為 115秒。
本次大賽還涌現(xiàn)了一批優(yōu)秀的開(kāi)發(fā)者,本屆參賽選手鄧順子不僅率領(lǐng)隊(duì)伍獲得了一等獎(jiǎng),還收獲了本次比賽唯一的特別貢獻(xiàn)獎(jiǎng)。他表示,2022年的 Hackathon比賽是他首次接觸 TensorRT,這使他對(duì)模型推理加速產(chǎn)生了濃厚的興趣。盡管當(dāng)時(shí)未能進(jìn)入復(fù)賽,但那次經(jīng)歷讓他深感自身技能的不足。在上一次比賽中,他目睹了頂尖選手使用 FasterTransformer在比賽中取得領(lǐng)先地位,這一經(jīng)歷讓他對(duì) AI技術(shù)有了更深入的理解和追求。隨后,他積極做 TensorRT上的模型開(kāi)發(fā),特別是對(duì) ChatGLM/Bloom等新興模型進(jìn)行了優(yōu)化,感受到了 TensorRT的強(qiáng)大。
今年,他再次參加了 TensorRT Hackathon 2023,利用 TensorRT-LLM成功優(yōu)化了 QWen大模型,實(shí)現(xiàn)了自己的夢(mèng)想。他感謝主辦方給予的機(jī)會(huì),團(tuán)隊(duì)的支持,以及所有參賽者的努力,他期待未來(lái)能與大家一起為 AI技術(shù)的發(fā)展創(chuàng)造更多奇跡。
人工智能應(yīng)用場(chǎng)景創(chuàng)新日新月異,AI模型的開(kāi)發(fā)與部署也需要注入新的動(dòng)能。在此次賽事中,選手們基于 TensorRT挖掘出更多的潛能和功能需求。未來(lái),阿里云和NVIDIA還將持續(xù)為開(kāi)發(fā)者和技術(shù)愛(ài)好者提供展示技能和創(chuàng)意的平臺(tái),天池平臺(tái)將與更多優(yōu)秀的開(kāi)發(fā)者一同推進(jìn) TensorRT的發(fā)展,讓 AI在 GPU上更容易、更高效地部署。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
近日，杭州熙凰科技集團(tuán)有限公司成為阿里云產(chǎn)品生態(tài)合作伙伴。未來(lái)，熙凰集團(tuán)將攜手云計(jì)算與科技智能的力量，共同建設(shè)影響世界的數(shù)字化企業(yè)服務(wù)產(chǎn)品和解決方案，為全球企業(yè)帶來(lái)持續(xù)成功的客戶(hù)價(jià)值。
阿里云將會(huì)在今年9月30日之前，全面關(guān)停代銷(xiāo)業(yè)務(wù)。這件事實(shí)際上始于今年4月份，阿里云當(dāng)時(shí)已開(kāi)始通知其經(jīng)銷(xiāo)商。這些經(jīng)銷(xiāo)商早已有所準(zhǔn)備。
阿里云成為國(guó)內(nèi)首個(gè)加入大模型開(kāi)源行列的大型科技企業(yè)。就在昨天，阿里云公開(kāi)表態(tài)，把自家的通義千問(wèn)大模型開(kāi)源。阿里云把通用70億參數(shù)模型，包括Qwen-7B和對(duì)話(huà)模型Qwen-7B-Chat這兩款大模型產(chǎn)品給開(kāi)源了。
6月1日,2023阿里云峰會(huì)·粵港澳大灣區(qū)在廣州舉行,會(huì)上阿里云正式推出《云卓越架構(gòu)白皮書(shū)》,為企業(yè)用云管云解決方案和產(chǎn)品化落地提供指引,助力企業(yè)構(gòu)建更加安全、高效、穩(wěn)定的云架構(gòu)。本書(shū)由阿里云架構(gòu)師團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)、全球交付團(tuán)隊(duì)等眾多團(tuán)隊(duì)基于過(guò)去多年服務(wù)企業(yè)的經(jīng)驗(yàn)總結(jié)共同撰寫(xiě),從安全合規(guī)、穩(wěn)定性、成本
5月17日，2023阿里云峰會(huì)·常州站上，阿里云正式發(fā)布第八代企業(yè)級(jí)計(jì)算實(shí)例g8a以及性能增強(qiáng)性實(shí)例g8ae。兩款實(shí)例搭載第四代AMDEPYC處理器，標(biāo)配阿里云eRDMA大規(guī)模加速能力，網(wǎng)絡(luò)延時(shí)低至8微秒。其中，g8a綜合性?xún)r(jià)比平均提升15%以上，g8ae算力最高提升55%，在AI推理與訓(xùn)練、深度學(xué)
在數(shù)字化與智能化深度交織的時(shí)代浪潮中，安全的邊界不斷延展，技術(shù)的演進(jìn)正引領(lǐng)產(chǎn)業(yè)邁向新一輪變革。10月24日，以“弈動(dòng)Dynamic·數(shù)智躍遷博弈無(wú)界”為主題的2025TechWorld智慧安全大會(huì)在北京盛大召開(kāi)。來(lái)自國(guó)家部委、院士學(xué)者、高?？蒲袡C(jī)構(gòu)和企業(yè)的權(quán)威專(zhuān)家與業(yè)界精英齊聚北京，共議AI安全、數(shù)
2025年10月25日，2025世界青年科學(xué)家峰會(huì)之人工智能（AI）融合創(chuàng)新發(fā)展論壇在浙江溫州成功舉辦。本次論壇由國(guó)際院士科創(chuàng)中心主辦，中國(guó)投資協(xié)會(huì)能源投資專(zhuān)業(yè)委員會(huì)、溫港院士科創(chuàng)中心承辦，中國(guó)電工技術(shù)學(xué)會(huì)、中科先進(jìn)技術(shù)溫州研究院與溫州市電力工程學(xué)會(huì)提供支持，以“甌江論道-AI賦能綠色發(fā)展”為主題，
我覺(jué)得我們AI的目標(biāo)是：從芯片設(shè)計(jì)到軟件生態(tài)，全鏈路自主開(kāi)發(fā)，建立可控的世界級(jí)AI體系。所以這是俺對(duì)未來(lái)5年中國(guó)AI圈的展望和判斷。(1)2026年，英偉達(dá)造車(chē)、國(guó)產(chǎn)開(kāi)車(chē)26年國(guó)產(chǎn)芯片會(huì)在推理和垂直場(chǎng)景上發(fā)力。以DeepSeek為代表，大多數(shù)AI大模型會(huì)以軟件彌補(bǔ)硬件不足，所以訓(xùn)練和推理分開(kāi)，訓(xùn)練就
文/道哥在深陷“后門(mén)”風(fēng)波、接受網(wǎng)信辦問(wèn)詢(xún)之后，英偉達(dá)的“特供版”H20芯片，又有了新消息。近日，美國(guó)科技媒體《TheInformation》援引知情人士消息稱(chēng)，英偉達(dá)已悄然向其關(guān)鍵供應(yīng)商——包括負(fù)責(zé)封裝的安靠科技、供應(yīng)高帶寬內(nèi)存的三星電子、以及承擔(dān)后端處理的富士康發(fā)出指令，要求暫停所有與H20AI
文/二風(fēng)來(lái)源/節(jié)點(diǎn)財(cái)經(jīng)一場(chǎng)關(guān)于“中國(guó)芯”的IPO審議，正把投資者們的目光鎖定在上交所。根據(jù)上交所發(fā)布的公告，上市審核委員會(huì)已定于9月26日審議摩爾線(xiàn)程的科創(chuàng)板首發(fā)申請(qǐng)。作為中國(guó)半導(dǎo)體自主化浪潮中最受矚目的“考生”之一，包括其創(chuàng)始人顯赫的英偉達(dá)背景、高達(dá)80億元人民幣的募資雄心，以及在國(guó)產(chǎn)GPU領(lǐng)域取
AI視頻生成賽道“分野”：小廠(chǎng)重產(chǎn)品，大廠(chǎng)重生態(tài)
技術(shù)的進(jìn)步永無(wú)止境，繼創(chuàng)下TPC-C性能&性?xún)r(jià)比雙冠之后，阿里云PolarDB云原生數(shù)據(jù)庫(kù)再度實(shí)現(xiàn)關(guān)鍵突破。9月24日杭州云棲大會(huì)上，阿里云宣布推出全球首款基于CXL（ComputeExpressLink）2.0Switch技術(shù)的PolarDB數(shù)據(jù)庫(kù)專(zhuān)用服務(wù)器。在原有RDMA網(wǎng)絡(luò)的基礎(chǔ)上，Polar
2025年9月24日，在杭州舉辦的云棲大會(huì)上，阿里云正式發(fā)布全新一代服務(wù)器操作系統(tǒng)AlibabaCloudLinux4（簡(jiǎn)稱(chēng)Alinux4）。Alinux4基于Linux6.6內(nèi)核打造，是首個(gè)全面遵循龍蜥社區(qū)“開(kāi)源生態(tài)合作倡議”規(guī)范的商業(yè)發(fā)行版。它不僅兼容主流開(kāi)源社區(qū)生態(tài)，更針對(duì)阿里云最新9代ECS
9月24日，杭州云棲大會(huì)技術(shù)主論壇上，阿里云重磅發(fā)布AI安全護(hù)欄，提供五項(xiàng)核心安全能力，護(hù)航AI安全。一方面為客戶(hù)提供融入AIAgent開(kāi)發(fā)全鏈路的原生安全防護(hù)，另一方面持續(xù)用AI賦能安全產(chǎn)品智能化升級(jí)，打造Agentic-SOC安全運(yùn)營(yíng)，提升安全威脅檢測(cè)和響應(yīng)效率。在過(guò)去的一年，AIAgent正在
