4月14日下午，為期兩天的第十三屆吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)頒獎(jiǎng)典禮暨2023中國人工智能產(chǎn)業(yè)年會(huì)圓滿落幕。憶芯科技首席科學(xué)家孫唐應(yīng)邀出席“智能芯片與集成電路專題論壇”，并發(fā)表《大模型時(shí)代存算一體芯片新機(jī)遇》主題演講，圍繞大算力芯片、AI大模型、存算融合等方向的核心技術(shù)及產(chǎn)業(yè)應(yīng)用，深入探討存算一體芯片未來發(fā)展趨勢。
智能芯片與集成電路專題論壇現(xiàn)場
孫唐在演講中提到，近年來，大模型技術(shù)迅猛發(fā)展，其應(yīng)用已經(jīng)擴(kuò)展至云端、邊緣設(shè)備乃至移動(dòng)設(shè)備等多個(gè)領(lǐng)域。然而，大模型對(duì)電力的需求極為龐大。據(jù)外媒報(bào)道，ChatGPT每天處理約2億個(gè)請(qǐng)求，消耗的電力超過50萬千瓦時(shí)，這相當(dāng)于1.7萬個(gè)美國家庭一天的用電量。有研究機(jī)構(gòu)預(yù)測，到2027年，AI行業(yè)的年電力消耗將達(dá)到850億至1340億千瓦時(shí)，相當(dāng)于瑞典或荷蘭一個(gè)歐洲國家一年的總用電量。
除了龐大的電力消耗之外，如果中國的大模型有能力與海外通用大模型進(jìn)行競爭，但其后臺(tái)卻使用的是國外相同的GPU，并且中國大模型建立在標(biāo)準(zhǔn)的Transormer架構(gòu)下，那么其市場競爭的優(yōu)勢和真正的盈利點(diǎn)在哪里？
憶芯科技首席科學(xué)家孫唐
存算一體化芯片的獨(dú)特價(jià)值在于，其能夠實(shí)現(xiàn)數(shù)據(jù)和計(jì)算的整合遷移，這對(duì)于大模型公司來說是一個(gè)巨大的吸引力。
面對(duì)不同領(lǐng)域的大模型應(yīng)用，存算一體化芯片的優(yōu)勢體現(xiàn)在如下方面：
01 為大模型訓(xùn)練協(xié)處理加速：存算功能聚合，降低主機(jī)負(fù)載，降低延遲及功耗，矩陣計(jì)算，數(shù)據(jù)統(tǒng)計(jì)、AI運(yùn)算全方位加速，支持國密?？膳c國產(chǎn)GPU合作，提升大模型性能，同時(shí)降低系統(tǒng)能源消耗。
02 為大模型應(yīng)用部署實(shí)現(xiàn)減負(fù)：實(shí)現(xiàn)數(shù)據(jù)的特征嵌入以及相似度分析查詢比對(duì)加速；GPU與存儲(chǔ)直通共享內(nèi)存完成調(diào)用加速，類PageAttention技術(shù)無需主CPU管理；一機(jī)多芯片多專家系統(tǒng)，存算一體模組替代一組AI Agent，共享GPU算力，實(shí)現(xiàn)MoE系統(tǒng)資源最大優(yōu)化。
03 為大模型個(gè)人應(yīng)用加速實(shí)現(xiàn)降本：個(gè)人電腦只需添加存算一體模組硬盤即可成為AI-PC，為大模型直接提供知識(shí)源，減少模型幻覺，保障數(shù)據(jù)隱私安全。
04 從存算一體AI加速器拓展到存算全功能的數(shù)據(jù)流加速片上系統(tǒng)，保障數(shù)據(jù)主權(quán)。
憶芯存算一體芯片STAR2000
獲吳文俊人工智能專項(xiàng)獎(jiǎng)芯片項(xiàng)目二等獎(jiǎng)
憶芯存算一體化AI芯片STAR2000具有創(chuàng)新的芯片架構(gòu)，片上一致性總線保障數(shù)據(jù)吞吐帶寬從存儲(chǔ)側(cè)到數(shù)據(jù)計(jì)算側(cè)延遲小于1.5us，總吞吐帶寬大于 14GB/s，遠(yuǎn)超目前 PCIe 固態(tài)硬盤到主機(jī)的最大帶寬和讀寫延遲能力；硬件設(shè)計(jì) 8TOPS 規(guī)模電路算力規(guī)格實(shí)際端到端推理應(yīng)用效果超過國外 32TOPS 平臺(tái)，AI 存算核心算效比超 12TOPS/W。
憶芯STAR2000E是搭載憶芯存算一體芯片STAR2000推出的高性能企業(yè)級(jí)SSD解決方案，可應(yīng)用于電力、通信、水利、社區(qū)、交通等關(guān)鍵基礎(chǔ)設(shè)施行業(yè)，具備卓越的實(shí)用性及良好的市場前景。
從普算、智算到超算，憶芯將全方位支撐人工智能全生命周期的應(yīng)用需求，期待與社會(huì)各界的合作伙伴同心協(xié)力，共同推進(jìn)存算一體芯片技術(shù)的創(chuàng)新和發(fā)展，為科技進(jìn)步和產(chǎn)業(yè)升級(jí)提供堅(jiān)實(shí)的動(dòng)力。
京公網(wǎng)安備 11010802038911號(hào)