
2024年8月6-8日,作為全球存儲技術(shù)領(lǐng)域最具影響力的盛會之一,F(xiàn)MS 2024(the Future of Memory and Storage)于美國加州圣克拉拉會議中心盛大舉行。

憶芯科技AI創(chuàng)新部主任工程師 潘梓丞
憶芯科技AI創(chuàng)新部主任工程師潘梓丞受邀出席,并發(fā)表主題演講《Distributed Software Architecture in SSD》(SSD中的分布式軟件架構(gòu)),分享分布式軟件架構(gòu)如何推動SSD性能、效率和可靠性的極限,與業(yè)內(nèi)人士共同探索計算存儲的優(yōu)勢與未來發(fā)展。
文件系統(tǒng)SSD,提升數(shù)據(jù)傳輸性能與效率
隨著PCIe和先進架構(gòu)在SSD中的崛起,分布式軟件架構(gòu)正在改變計算任務(wù)的處理方式。通過將任務(wù)從主機系統(tǒng)卸載到SSD,可以顯著提高性能和效率。

憶芯科技自研主控芯片STAR2000
憑借STAR2000主控強勁的存內(nèi)計算性能,憶芯科技獨有的文件系統(tǒng)SSD技術(shù)將文件系統(tǒng)直接嵌入到SSD固件中,通過自定義FS Command Set,制定了豐富的文件系統(tǒng)接口,實現(xiàn)了與傳統(tǒng)架構(gòu)一樣的文件管理功能,減輕主機的文件系統(tǒng)處理壓力。

文件系統(tǒng)運行時,內(nèi)存中有許多目錄條目。當發(fā)出寫文件指令時,系統(tǒng)從根目錄開始搜索,經(jīng)過子目錄,最終找到索引節(jié)點,然后使用NVMe協(xié)議逐塊寫入數(shù)據(jù)到SSD中。

為了將文件系統(tǒng)集成到SSD中,我們將其分為兩部分:主機控制部分和在SSD內(nèi)運行的部分。主機部分主要提供目錄條目,SSD內(nèi)部分接收主機命令并執(zhí)行讀寫操作。

我們?yōu)槲募到y(tǒng)SSD提供了一個獨特的命名空間,同時主機也可以通過另一個命名空間正常使用SSD。當需要文件系統(tǒng)時,主機通過文件系統(tǒng)接口發(fā)出命令,NVMe VU驅(qū)動程序?qū)⑦@些命令轉(zhuǎn)換為NVMe VU命令,通過命名空間發(fā)送到SSD的前端模塊。該模塊解析命令后,將其發(fā)送到SSD內(nèi)部運行的文件系統(tǒng)以執(zhí)行文件讀寫操作。

文件系統(tǒng)SSD在SSD內(nèi)部運行,減少了主機CPU的時間占用。通過高速DMA傳輸數(shù)據(jù),減輕了CPU負擔,并同步管理文件系統(tǒng)和SSD緩存空間,減少冗余計算和內(nèi)存開銷。

此外,在運行簡單管理系統(tǒng)的主機中,可以使用單個文件系統(tǒng)管理多個SSD,提高性能并簡化RAID等保護措施的實施。
文件系統(tǒng)SSD與傳統(tǒng)文件系統(tǒng)的性能對比
在性能比較中,文件系統(tǒng)SSD在數(shù)據(jù)傳輸和CPU負載方面表現(xiàn)優(yōu)于傳統(tǒng)文件系統(tǒng)。

傳統(tǒng)文件系統(tǒng)需要主機首先分配緩沖區(qū),然后將數(shù)據(jù)拷貝到文件系統(tǒng)緩存,最后通過PCIe傳輸?shù)絊SD。而文件系統(tǒng)SSD則直接通過PCIe進行數(shù)據(jù)傳輸,減少了緩沖區(qū)分配和數(shù)據(jù)拷貝步驟,提高了數(shù)據(jù)傳輸效率。
文件系統(tǒng)SSD利用高速DMA傳輸數(shù)據(jù),減輕了主機CPU的負擔,所有任務(wù)只需通過發(fā)送VU命令即可完成,而傳統(tǒng)文件系統(tǒng)則需要主機CPU處理所有任務(wù)。
未來的計算存儲架構(gòu)展望

在現(xiàn)有的基礎(chǔ)上,我們提出整合一個額外的命名空間以高效管理和執(zhí)行各種數(shù)據(jù)庫命令。這樣,數(shù)據(jù)庫能夠直接與SSD內(nèi)部的文件系統(tǒng)通信,簡化數(shù)據(jù)操作,減少主機和SSD之間的數(shù)據(jù)傳輸,從而實現(xiàn)更快速的數(shù)據(jù)管理系統(tǒng)。

隨著分布式軟件架構(gòu)在SSD中的不斷發(fā)展和完善,未來的計算存儲架構(gòu)有望在SSD內(nèi)部實現(xiàn)更廣泛的應(yīng)用,顯著增強其功能。這種先進的架構(gòu)將使得更多應(yīng)用能夠直接在SSD內(nèi)部運行,大幅提升數(shù)據(jù)處理效率,并且為存儲設(shè)備帶來極大的性能改進。
大數(shù)據(jù)時代,存儲設(shè)備不僅僅是數(shù)據(jù)的承載者,更應(yīng)成為數(shù)據(jù)處理的核心環(huán)節(jié)。隨著技術(shù)的不斷創(chuàng)新進步,我們滿懷期待,迎接一個更高效、靈活和可靠的存儲時代的到來。