2011年度“存儲產業技術創新戰略聯盟”工作總結

存儲產業技術創新戰略聯盟作為存儲領域的唯一聯盟,凝聚了國內產學研一線單位,著力于推動我國存儲產業整體實力的提升。2011年聯盟在組織機構和運行模式建設上不斷探索創新,建立了一套行之有效的組織管理模式;通過聯盟課題研究,在關鍵技術核心技術內容、技術擴散轉移等方面取得了重要突破;通過技術創新鏈條的構建,明確了產業技術發展路線和產業化推廣方案,為聯盟的技術創新指明了發展方向、奠定了基礎。
 
一、2011年度開展的主要工作及重要成績
1、實施技術合作,聯手進行核心關鍵技術及共性技術研發
(1)智能存儲系統總體研究
2011年7月7日于北京,聯盟組織第二屆中國存儲創新年會。邀請包括高校、研究院所、企業及政府部門在內的專家進行技術交流。本次年會劃分兩個與智能存儲相關的技術論壇:云計算技術論壇和容災備份技術論壇。云計算技術論壇重點探討了如何利用智能存儲系統實現云計算的問題,主要探討內容包括《Available, Low-cost Online Storage Services using Cloudlets》、《云存儲技術及應用》、《支撐云時代業務系統的 EXPRESSCLUSTER X 3.0》、《創新動力“云領”未來》、《華為云存儲創新與實踐》等;容災備份技術論壇深入討論了智能存儲系統關鍵技術之一的容災備份技術,主要探討內容包括《業務數據連續容災備份技術研究及解決方案》、《飛康創新災備技術推動云時代更高效災備與恢復建設》、《容災與恢復-基于DataCore 存儲虛擬化技術》、《如何讓數據中心更給力》、《文件級容災解決方案》等。
(2)存儲虛擬化軟件開發及產業化
目前已研究出可動態伸縮的虛擬化存儲系統,具體包括:
1) 兼容異構設備的存儲虛擬化整合技術
研究了核心態的虛擬化代理軟件技術,實現了對Linux、Windows、Solaris 等主流操作系統及其上多種文件系統的支持,實現了對異構存儲設備和網絡設備的虛擬化技術。
2) 性能可擴展的卷容量增長技術
研究了基于磁盤物理特征的卷容量增長技術,實現了卷容量增長過程中數據移動最快化和用戶前端IO訪問影響最小化,實現了卷訪問性能與容量同時擴展。
3) 存儲資源精簡配置技術
研究了高效的存儲空間管理方法和靈活的地址映射機制,通過預留虛擬空間和存儲資源的寫時分配,實現了在滿足用戶的空間需求的同時提高存儲資源利用率。
(3)存儲自動化設備研制及產業化
2011年度主要工作圍繞需求分析和體系結構設計展開,參與設計的三家單位積極進行溝通和技術交流,技術和組織上進行協作,并各自完成承擔的子系統的工作任務。
天津天地偉業公司對存儲自動化設備進行了市場需求調研,調研顯示目前國際、國內智能存儲市場對帶有自動精簡配置技術和重復數據刪除功能的智能存儲設備有著很大的需求,尤其是帶有空間利用率高、數據訪問效率高、綠色節能等優點的智能存儲系統已經成為存儲領域研究的熱點,也是未來市場的銷售熱點。
重復數據刪除是由西安交通大學主要承擔,對國內外重復數據刪除技術的研究進展、主流商業產品、著名開源軟件和研究項目等,進行了大量詳細認真地調研。對主流產品的總體架構、性能參數有了清晰的認識,明確了重復數據刪除技術面臨的問題,為項目研究工作和系統設計開發奠定了良好的基礎,并以存儲管理為框架、以數據備份和還原為主要應用,設計并開發了具有重復數據刪除功能原型系統。
自動精簡配置是由哈爾濱工業大學主要承擔,調研自精簡配置的相關關鍵技術,比較分析業界相關自精簡產品的技術特征,分析各大廠商自精簡產品優劣,明確自精簡配置相關技術的技術難點,從功能、性能、可擴展性、兼容性、可測試性、安全性等角度對自精簡配置設備原型的設計實現進行全面的需求分析與描述;提出自精簡配置技術研究設計與原型系統開發構建的詳細設計方案與技術路線,完成自動精簡配置原型系統設計與構建。
存儲自動化設備是江南計算技術研究所主要承擔,設備是項目的基礎設施部分,對主要分析所需的硬件環境和軟件支撐,調研了主流廠商的相關產品,分析了相關開源的項目iscsi-target,openfiler,對功能以及分系統之間的接口進行分析確認,并形成需求分析文檔,在確認需求的基礎上,了解相關商業產品和技術,進行體系結構設計,搭建實驗環境,以ISCSI協議基礎、建立了ISCSI-target的自動化存儲原型系統。
(4)存儲容災備份系統研制及產業化
針對當前海量集群存儲環境下的不斷提升的可靠性需求,課題組研制的藍鯨BWRAID系統原型是突破海量通用存儲設備集群環境下低空間開銷和高可靠保證間矛盾的重要核心技術。藍鯨BWRAID技術能夠有效提高網絡存儲的可靠性,并可克服數據副本技術空間開銷大的問題。現有網絡RAID研究的做法大多采用將傳統RAID機制向網絡存儲節點拓展的思路,其數據與冗余校驗的緊綁定關系使得網絡環境下RAID機制有著冗余計算范圍大、擴展難度高等限制問題。
2011年度創新性地提出了網絡RAID松耦合架構,并在此基礎之上驗證了Raid5、Raid6等通用性冗余機制的可行性。更為重要的是,本項目在本年度提出了數據異步冗余處理方法,其可以有效地減少RAID冗余組的小寫操作數量。本項目的異步冗余處理方法采用“數據先鏡像寫入,后冗余計算”的方法來解決同步冗余計算性能低的問題。之前的相關研究從數據分級管理的角度來平衡用戶讀寫性能和冗余空間開銷,而本項目則從異步處理的角度對I/O負載響應、延遲冗余計算、負載的時空局部性特征與延遲冗余計算的關系等問題進行深入研究。我們的初步研究結果表明,異步冗余處理具有同時優化用戶寫性能和系統總I/O負載的潛在優勢。初步測試結果表明,在典型負載下,藍鯨BWRAID的數據讀寫性能可提升2~4倍。
(5)智能存儲技術研究及其產業化
本項目于20109月立項,目標是開發高性能低能耗存儲設備并實現產業化。通過研究SSD固態硬盤與傳統存儲設備應用結合技術,解決因存在大量機械設備而造成存儲系統功耗偏高的問題;研究智能資源與數據管理技術,應用于存儲系統,智能調節系統設備在線等待時間,降低系統功耗。通過軟硬件的優化改造,降低存儲系統功耗,提升存儲設備的使用率、優化資源的部署和運作。
新一代低耗能磁盤陣列系統主要用于數據中心、信息中心的中央機房。行業包括銀行、高性能計算、廣電視頻點播、網站等需要大規模數據的信息中心。相比較傳統存儲設備,低能耗存儲設備可以節省能源30%以上。
在未來的兩年中,進行技術轉移與優化、存儲設備工程樣機的設計、產品測試、中試、產品化,最終投入市場。預計會帶動整個存儲行業從單純的國外產品代理到自主研發產品的轉變。帶動整個存儲產品鏈從芯片、板卡、機箱、電源、到系統軟件等整個產業鏈的快速發展。例如我們與龍芯的合作促進龍芯開發針對存儲專用的嵌入式芯片;我們的設備使用了完全國產化的電源,促進了存儲設備國產電源的發展,而這個市場在我們設備研發之前一直是臺灣電源的市場。同時我們根據行業應用的特點為不同和行業開發定制化產品,帶動數據保護和數據管理軟件行業的發展。提高了數據評測、數據統計等行業的水平。
2、建立公共技術支撐平臺,形成專利池,制訂產業技術標準
以優勢互補、資源共享原則,充分發揮聯盟成員資源和能力,以技術方向、技術產品上下游鏈條分別建立6個公共技術支撐平臺,形成了以研究方向為節點劃分而建立的專利池。
(1)新型存儲體系結構
研究存儲大容量、高性能、高可靠性等方面的關鍵技術,在存儲多控cache一致性、高性能全交換無阻塞存儲互聯架構、高效RAID算法和實現、存儲FC/IB多協議支持技術等領域,形成一批電路布圖設計和專利,提出至少1套體系結構設計方法;
(2)新型存儲器件和設備
研制高速、低功耗相變隨機存儲器、超高密度STT-MRAM及陣列級存儲系統管理芯片、新一代高密度半導體非揮發電阻型隨機存儲器、研制支持FC/IB協議轉換的高帶寬存儲交換機和適配器、研制支持8Gb FC、40Gb IB接口的高端磁盤陣列,研究節能降耗技術、研制比當前主流存儲節能>30%的綠色節能存儲盤陣;
(3)基于國產存儲設備的核心軟件
開發支持當前主流數據庫的數據備份和CDP軟件、支持異構存儲的虛擬化存儲軟件、分級存儲及數據管理軟件、存儲訪問安全軟件、存儲設備安全預警和數據主動遷移軟件、海量存儲秉性文件系統,兼容國產硬件存儲設備;
(4)設備普及推廣解決方案
實現國產設備普及推廣,逐步替代國外產品,形成國產軟硬件產業群,推動產業升級和區域經濟發展,占據國內市場主流地位。
3、實施技術轉移,加速創新成果的大規模商業化運用
在2011年度,聯盟承辦和協辦了我國第17屆全國信息存儲技術大會、第二屆中國存儲創新年會及理事會,會議邀請了產業內知名院士、專家、學者匯聚一堂,深入研討了產學研用創新鏈條,豐富了技術如何更快轉移、加速商業化應用議題,提供了自主可控產品應用思路,有效推動和促進我國信息技術的持續健康發展。
當前,項目的部分研究成果包括自動化存儲設備管理軟件、支持固定分塊和單實例去重的備份和還原系統已經應用在某軍工研究所某處的數據中心工程項目中。
在未來的兩年中,進行技術轉移與優化、存儲設備工程樣機的設計、產品測試、中試、產品化,最終投入市場。預計會帶動整個存儲行業從單純的國外產品代理到自主研發產品的轉變。帶動整個存儲產品鏈從芯片、板卡、機箱、電源、到系統軟件等整個產業鏈的快速發展。
4、聯合培養人才,增強存儲產業的持續創新能力
在聯盟推動下,以國防科大、華中科大、哈工大、西北工大為首的幾所高校聯合承擔,積極探索以企業為主導、以高校為主體、以人才和科技為橋梁、以利益為紐帶的產學研聯合創新模式和優勢互補、相互支持、風險共擔、利益同享、共謀發展的良性運行機制。將企業與高校的自身特點及優勢充分發揮出來,引導關鍵技術與共性技術的研發,提升自主研發能力,促進科技成果的商品化、產業化、國際化。
同時,關于知識產權的歸屬和保護,與各高校在認識上取得一致,雙方訂立合作協議約定,明確了知識產權的歸屬問題,將產學聯合的知識產權保護落到實處。一方面有效地防止了外部侵入和內部泄露,另一方面也相互之間避免產生不必要的沖突。涉及到技術秘密,制定保密規則,確定保密范圍,防止人為因素造成的損失。
在聯合過程中,培養了一批在產業領域內較為優秀的科研人才,為下一代產品開發積累了豐富而寶貴的人力和物質基礎。同時,高校通過了解企業的人才需求,根據企業需求定制了培養目標,強化培養計劃。培養了博士生11人,碩士研究生35人。
二、發展運行中存在的問題
1、專利池的具體專利的共享及許可規定尚待完善。目前只是形成了細分方向的專利池,但未制定具體協議或搭建交易平臺界定如何共享、轉讓。
2、承擔國撥經費課題,聯盟沒有注冊實體,無法對項目進行統一管理;經費到達各自承擔單位時間不統一,無法實現有序管理。
三、2012年度工作設想
在存儲產業劃分研究方向的基礎上,以會員單位實際需求為導向建立專利池;集合聯盟資源,規劃存儲標準框架體系,籌劃 “存儲設備通用規范”、“存儲接口規范”等系列標準。
根據聯盟建設情況,在今后的工作中,聯盟將主要在以下幾方面開展工作:
1、加強專家委員會職能建設,優化專家委員會隊伍,圍繞產業技術進步,進一步完善產業技術創新路線圖;
2、結合標準技術路線圖和各成員單位技術優勢進行合理分工,組織成員單位對技術標準進行協同、配套的研究和申報;
3、繼續完善和修訂聯盟秘書處的各項管理辦法和規章制度,優化聯盟管理模式,提高聯盟執行力;
4、續探索和完善組織機構建設,尋求更為有效的運行模式。在聯盟的發展過程中,知識產權共享、風險共擔、產學研合作、人才培養等,都是聯盟面臨的現實問題,聯盟將通過借鑒先進經驗以及自身不斷的探索和嘗試,尋求最適合自身的運行模式;
5、加強聯盟的國際交流。通過與國外聯盟、標準化組織、企業等加強溝通和相互學習,最終把聯盟發展成為一個我國存儲產業與國外組織和機構對話的窗口的平臺。