DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開
DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開

北单比分奖金很高:浪潮產品總監趙帥:面向新數據時代的分布式存儲平臺

北单比分直播投注 www.409906.live 按:12月3日,為期兩天、由百易傳媒(DOIT)主辦的2019中國數據與存儲峰會(DATA & STORAGE SUMMIT)在北京盛大開幕,與會專家對新一代存儲技術趨勢及數據創新應用進行了熱議,大家一致認為數據存儲將成為數字產業發展的關鍵推動力,驅動中國和企業數字化轉型。

峰會第二天,共舉行了十場分論壇。在“分布式存儲與應用論壇”上,浪潮分布式存儲產品總監趙帥以“面向新數據時代的分布式存儲平臺”為題發表演講,闡述了誕生于數字化轉型時代的超大規模數據中心級分布式存儲平臺AS13000G5特色及典型行業應用。

以下內容根據速記整理。

圖:浪潮分布式存儲產品總監趙帥

趙帥:各位好,尊敬的各位來賓大家下午好!很高興有這樣一個機會和大家聚在一起探討分布式存儲的話題??≈拔易吡艘幌縷淥姆致厶?,發現我們這個論壇的人群是最多的,后邊還加了很多座位,我個人認為這是一個好現象,平時客戶和廠商,雖然會討論很多熱門話題與概念,相對來說我們更關心的是一些底層的基礎設施的產品和方案。

新數據時代,新挑戰

在整個大的社會環境下,當前各行各業都在推進著數字化轉型,在數字化轉型的過程當中,無論是客戶也好還是廠商,會遇到一系列的問題,比如精細化的問題,我們在追求數據的時候,越來越多的去追求數據的在空間和時間上的精細化,這對于業務訪問層面,對后端存儲層面都提出來不小的壓力;再有即時性問題,一些實時交易需要很低的延遲;有整合化問題,我相信在座各位客戶的機房當中一定有各種各樣的業務,有不同廠商的設備,之間如何統一管理,業務和業務之間能不能打通,數據能否自由流動?這是整合化帶來的問題;再有就是不確定性,有一些熱點話題,一旦觸發對最終用戶來說產生一個無法預測式的訪問, IT系統能不能承接突發大流量訪問,這是不確定性帶來的挑戰。

新數據時代下,挑戰和機會是并存的,IDC最新預測2025中國會成為全球最大的數據圈,未來我們還是要更多關心數據的存儲與管理相關的話題。

一起看一下浪潮分布式存儲。

超大規模數據中心級分布式存儲平臺AS13000G5

在分布式存儲領域,浪潮提出了“分布式存儲平臺”概念,為什么叫平臺,是說我們希望通過平臺來解決用戶的很多的問題,甚至說未來我們目標是為了解決整個數據中心的問題。

我們分布式存儲平臺是在今年三月份發布的,有一個概念5+X,分為兩個層面,一個硬件5+X,一個軟件的5+X。硬件的5+X,基于浪潮強大的服務器產品線,支持五種不同類型的硬件服務器,包括機架式、機柜式、多節點異構式種種類型服務器和分布式存儲軟件進行適配,每種服務器配置非常靈活,根據業務需求業務特點配置不同的CPU,IO卡以及GPU卡,這是硬件層面的5+X。

為什么這么注重硬件?我們相信,做一款產品的時候,無論任何領域的產品都有一句話,硬件是基礎、軟件是靈魂。在業內我們和其他公司有硬件級的合作,大家也都聽說過。

浪潮分布式存儲軟件,在AS13000G5前身2013年上市的時候,提出了多合一的概念,在一套存儲系統中可以同時對外提供三種不同的服務,后來從三合一轉化為了四合一,有了大數據的對接,可以更好的替代HDFS。AS13000G5發布的時候追加了數據庫訪問協議,做了一個領先的預測,認為很多超大規模的數據庫,因為數據量特別大,對于系統的訪問延遲要求并不是很高,這些數據庫可以很好落到分布式存儲上。

我們軟件層面有五種業務,在業界與第三方公司,如做文件云做加密的,做流直存的等做了深度集成,在AS13000容器和虛擬化技術分離出來一部分資源,把第三方軟件打包在AS13000統一給用戶,除了采購AS13000不用采購其他設備,大大減少用戶整個TCO,為用戶節省了成本。

經過多年的發展,我們對該產品在分布式存儲所應對的場景中進行了分類,八大場景,包括平安城市、高性能計算、云、大數據、AI、廣電媒資、電子影像和傳統應用。平安城市交通卡口的圖片這種業務下我們會給最終用戶提供一個存儲平臺。在廣電媒資領域,我們和廣電有深厚的合作。在電子影像這一塊有幾個小的分支,如大家平時接觸金融雙錄系統,錄音錄像最終落到分布式存儲里面,因為數據文件的數量非常大,再有醫院的判別系統。其他的像云計算大數據和人工智能,炒的比較熱,而且分布式存儲一直以來有一個概念為云而生的存儲,可以很好的對接云下邊的各種協議的接口。

數據中心級分布式存儲平臺AS13000G5

這個是我們現在AS13000G5最新版本的情況。

展開說一下浪潮硬件產品目前的一些特點。昨天我們也借著本次峰會發布了幾個型號的硬件,這里給大家分享一些干貨。

1)靈活多樣的硬件節點

第一個型號是4U60高密度H系列,特點之一是空間相對來說比較短,可以放在一米深的機柜里,適配現在市面上99%的機柜,可以裝到任何數據中心里。之所以打造這個型號,是互聯網廠商提出的硬件需求,因為浪潮一直以來產品是以用戶的業務為導向進行研發設計。

第二個系列是高彈性X系列,可以做到4U72盤位,這樣的密度下配合14TB大容量硬盤,可以做到一個節點可以達到一個PB的空間。這個是一個高密的機型,還支持非常靈活的配置,可以把一個4U的節點內部變成兩個小的36的節點,也可以變成四個小的節點和八個小的節點。當我們把這個設備交付給客戶的時候,一個節點就是一套分布式存儲,這個是我們一體機相關的解決方案。

第三,高性能P系列。大家可能聽過浪潮集團旗下浪潮商用公司,里面有在具體一點是POWER架構的服務器。我們也可以把分布式存儲軟件和POWER結合到一起,高主頻高線速,單節點IOPS性能加強。這是經過客戶的對比節點的情況。

2)分布式存儲,極致容量與性能

接下來說一說分布式存儲的特點。

大家都知道分布式存儲用戶在采購的時候,提到一個空間利用率的問題,有一個安全水位的概念,安全水位不是我們提1024的轉換,也不是說糾刪碼和副本開銷之后剩余多少,所有軟硬件之后,系統格式化映射目錄的時候,到底能不能把目錄存滿,所有的廠商都沒有辦法把目錄存滿,這里面涉及到分布式存儲底層架構的問題,要做節點和節點之間數據流動和IO的均衡,所以說各個廠商推薦的安全水位都不太一樣。

AS13000G5把之前90%的安全水位通過多機制和哈希計算系數提高到95%空間利用率,增長5%的點給用戶帶來的效益,用戶一次系統采購當中可以少買幾個節點,少買幾十塊硬盤,是一個比較有經濟效的優點,除此之外我們還有千億級文件的支持,很多客戶項目當中,很多時候客戶一天落到系統中需要落一億個文件,文件保存周期雖然不長,但是進行了半個月或者是說一個月保存中需要分布式存儲支持千億級文件。浪潮經過了國家級第三方測試機構的驗證,支持千億級的文件。

分布式存儲更多的是去對接前端的云和前端的虛擬化,最近一兩年做了一件事和云進行了全面的對接,取得了Openstack和VMmare的支持,不需要擔心系統的兼容性的問題?;褂幸壞閭乇鵒榛?,AS13000G5支持第二次開發,浪潮存儲給用戶開放一些源代碼,和用戶一起適配調試優化,在很多高性能場景當中取得了非常好的效果,在不經過優化的情況下,一個存儲的節點可以跑出1.5到1.8的性能,優化之后單節點可以跑出2.5 G的性能。除此之外,上一代的AS13000產品,分布式存儲的規模一個集群就是5120個節點,這一代也沒有變;變化的是說每個節點最大容量變了,現在支持EB級的容量。

我們發現,有很多客戶初始化配置的時候都是五個PB或者十個PB數據量起,確實是說我們遇到了數據爆炸式增長的問題,相信未來我們會越來越多用分布式存儲整合數據中心當中各種各樣不同的數據,整合我們數據中心當中各種各樣的傳統應用以及智能應用。

3)協議自由轉換,輕松上云

接下來我們重點看一些有特色的亮點。前面提到了我們有一個概念叫多合一還有5+X,現在友商也都在做。就是說,無論大家去做多個系統的統一管理還是說做一個單一系統的多種服務,這里邊會有一個繞不開的話題,就是協議的自由轉化,我現在接觸到了前端有一些客戶,他反饋的一個要求就是在本次采購,這一次IT系統建設的時候,不知道應該采購什么樣的分布式存儲,不知道買分布式文件還是買分布式對象,未來有可能上云,上云可能會對接S3,現在有可能業務偏向于文件。因為我們支持有一種技術叫多元零拷貝的技術,這種技術直白翻譯過來相當于支持協議的自由轉換。怎么說呢?就是說用戶在最開始部署的時候可以部署分布式文件,可以存了很多數個TB的文件級的數據落到存儲上,后來有一天不想遷移修改,想把數據轉變成對象的數據,對外提供對象的服務,我們可以不需要經過任何的其他的產品的幫助,不需要經過底層的數據遷移拷貝鏡像,把這個數據從文件數據轉化為對象數據。

為什么支持這樣做,我們多合一最開始設計的時候,就是協議的自由轉換來支持的多合一。這個設計的思路從2013年發布AS13000就沒有變過,六年的時間我們軟件棧在原有設計思路上沒有轉換,沒有切換過軟件棧。

4)滿足不同業務需求的多中心容災

很多用戶完成了一個數據中心的生命周期管理的時候,往往考慮下一步在異地建第二個數據中心,可能會有一個三到五年的規劃,涉及到了雙活數據中心以及兩地三中心,在很多金融行業都有實際落地。大家平時關注IDC分析報告,分布式存儲圈子里面,文件、塊和對象三種數據服務發展最快是對象,未來增長率最高是對象。浪潮存儲支持了對象的多數據中心的容災,多數據中心容災體驗就和傳統的集中式的存儲是一樣的,比如說基于存儲做雙活,基于存儲做兩地三中心,采用的技術架構也差不多,這里邊有一點就是第三條,支持智能WAN加速。

智能WAN加速是什么樣技術?在多數據中心之間采用異步數據復制,可以降低30%到50%鏈路帶寬。在容災解決方案的建設過程當中,有一半左右的預算被鏈路開銷掉了,對用戶來說也是非常大的一筆節省,是智能WAN加速帶來的體驗。分布式存儲在未來可以幫助越來越多的客戶去構建容災的系統。

從2019年上半年到現在下半年這么一年時間,在互聯網以及金融領域,越來越多的客戶在考慮用對象存儲去做雙活去做兩地三中心。

5)智能運維AIOps

分布式存儲有一個概念是要存取海量數據,所以要求分布式存儲要能夠不斷的去擴展自己的規模。隨著時間的推移,我們會發現分布式存儲可能節點數量會達到一百多個節點,會有好幾千塊硬盤需要用戶不停的去管理去更換去運維。有沒有一個非常智能的一套軟件能夠幫助用戶的運維人員減輕管理和運維的壓力?是有的。浪潮有一款叫InView智能管理軟件可以管理浪潮全系列的存儲,包括集中式的混閃全閃以及分布式存儲,這款軟件部署之后,對環境內部所有的分布式存儲節點進行智能化存儲,用戶調節所有節點配置的時候,只需要在同一管理界面進行簡單兩到三步操作就可以批量化配置。像故障監控包括性能預測,各個廠商也都提到了。

這里邊說一個重點是深度優化的功能,硬盤的故障預測,我們過去三年里面從廠商收集了五十萬塊硬盤的日志,拿回到數據中心實驗的環境下通過機器學習和AI分析之后,發現市場上常見的硬盤故障可以被預測的,比如說希捷,英特爾的,故障預測準確率達到了兩周時間周期內85%的精度。也就是說在統一管理軟件界面下,可以給用戶提供硬盤故障率智能感知,分布式存儲上面三千塊硬盤,未來兩周之內會壞的是幾塊硬盤。目前這套智能管理系統,包括我們的硬盤故障預測這個功能是促銷的,在2019年以及2020年上半年都不會收費,跟隨著AS13000G5一起銷售。

浪潮分布式存儲,國內領先

大家都知道,分布式存儲用戶一旦采購了之后,就是在原有的分布式存儲上進行不斷的擴容。因為分布式存儲這個容量增速比集中式存儲大的,里邊存的大多數存的非結構化數據,經過后臺數據分析發現,確實有比較不錯的成績。重復購買率比較高,41%,也就是說每賣出去一百套,最終會有41個客戶會進行重復的采購和擴容。這個是我們現在取得的一個比較好的成績,前面提到了分布式存儲和云對接,大家都知道云無論是像公有云還是私有云這樣的分類,還是說你去按照政務云、企業云、通信云等等這樣分類,都可以用分布式存儲承載用戶前端各種應用。

經過多年的努力,浪潮的分布式存儲全國范圍內實際云相關的項目落地也有很多,包括北京城市副中心,濟南市的政務云、山東省的政務云,廣西的政務云,內蒙的政務云相關的規劃以及項目的最終落地,都和我們分布式存儲有很大的關系。

昨天論壇中我們也提到了,國內的某個率先進行了IT架構轉型的大規模運營商,他認為業務和數據是應該部署在分布式存儲上的,所以在2017年開始,一直到現在2019年,三年左右的時間總共發布了三次集采的招標的入圍這種活動。經過了幾十項深度的測試,浪潮和友商一起參加三次的集采,浪潮三次全部入圍,從側面也證明了我們產品性能以及穩定性可以達到用戶比較高的一個要求。

后面再介紹幾個典型的案例。

個案:助力智慧交通、廣電媒資、科學研究等行業數字化建設

在智能交通領域內,某個城市有一個三環路,有五六千個攝像頭,五六千個攝像頭對道路的狀況進行管理包括主路和輔路,管理路上的車輛行人,以及相關的違章種種相關的事故,每一天五六千攝像頭產生一億文件,90TB視頻,一億文件會帶來四億次文件的檢索,都是對后端檢索提出的性能。多輪測試當中,浪潮分布式存儲最終給用戶提供108個節點,很好承載了用戶的需求;系統上線之后,人工的行為糾察提高了80%,包括一些關鍵的交通運管系統,都得到了很大的提升。

在今年,浪潮和清華大學配合做腦科學研究的案例,清華大學為了研究小白鼠大腦,搭建了28臺高速相機,每秒鐘拍攝三十張高清圖片,每張圖片是1200萬象素24MB,要求20GB恒定帶寬,每次作業需要24小時不間斷出圖,對系統的性能以及穩定性都有很大的挑戰。我們最終給清華大學第一階段做了50個節點,整個分布式存儲給上層提供了45GB的帶寬,很好完成了高性能的項目。

分享在廣電媒資領域,浪潮存儲和廣電國網合作的案例??突С薆OSS系統以外,其他所有的應用都部署到了AS13000上,包括非編類業務,我們創造了三種不同容量層,有大容量硬盤層以及SSD硬盤層,承接不同的應用,而且這個用戶有三個數據中心,需要配合遠程數據復制的功能搭建兩地三中心,這樣的情況下浪潮給客戶提供140多個節點分布式存儲集群,完成了項目部署。用戶業務上線之后最終反饋的結果,IT的這種架構轉化比較成功的,完成了一次架構的轉換。

以上的這些就是我想給大家分享的內容。

希望大家能夠過多關注一下浪潮分布式存儲,因為每一年我們的軟件和硬件都有非常大的變化,也希望我們的變化能夠給在座的各位帶來數據中心的建設的一個幫助。希望能夠幫助大家去很好的完成未來的一個IT的數字化轉型。

謝謝大家!

編后:本次2019中國數據與存儲峰會(DATA & STORAGE SUMMIT)為期兩天,包含主論壇、CIO高峰對話,以及大數據、閃存系統、分布式存儲、第二存儲與容災備份、超融合與云存儲、人工智能、數據創新與安全可控、容器創新與應用、SCM第五代存儲與閃存控制器等十大主題論壇,超過100場的專業知識分享。初步統計,本屆峰會吸引了來自政、企、產、學、研、媒體等各方參會者約2000人,在線直播觀看觀眾再創新高,超過10萬余人次。 

未經允許不得轉載:北单比分直播投注 » 浪潮產品總監趙帥:面向新數據時代的分布式存儲平臺

{ganrao}