地震、海嘯、火山爆發(fā)等自然災害給人帶來嚴重后果,這些突發(fā)災害隨時隨地都有可能發(fā)生,在自然災害面前,我們深知人類力量的渺小,但是隨著云計算、大數(shù)據(jù)以及人工智能等技術(shù)的發(fā)展,我們能夠以睿智和科學來抵御自然災害。 云計算怎么預測地震?
地震、海嘯、火山爆發(fā)等自然災害給人帶來嚴重后果,這些突發(fā)災害隨時隨地都有可能發(fā)生,在自然災害面前,我們深知人類力量的渺小,但是隨著云計算、大數(shù)據(jù)以及人工智能等技術(shù)的發(fā)展,我們能夠以睿智和科學來抵御自然災害。
云計算怎么預測地震?
每年的地震波數(shù)據(jù)量大概是30TB,且總數(shù)據(jù)量達到PB級別。由于要相互對比每一個地震臺每個時間點的每個分量數(shù)據(jù),并且這些計算量是呈指數(shù)級增長的。在這種情況下,大規(guī)模分布式的云計算似乎成為了唯一的選擇。
云存儲
分布式存儲可以看作分布式計算的基礎條件。在將要進行的計算中,計算系統(tǒng)會對存儲系統(tǒng)進行大規(guī)模的訪問。而這些訪問必須要平均地打到服務器上,絕不能存在熱點。
而這還不夠,由于服務器的硬件故障在大規(guī)模集群中會變成一個常態(tài)事件,所以必須做好資源的實時調(diào)度和提供故障容忍能力。例如保證在摘掉一塊硬盤的時候,其余的硬盤要迅速用備份數(shù)據(jù)把存儲追齊。
在分布式計算中,數(shù)據(jù)帶寬成為了一個重要的參數(shù)。如果把數(shù)據(jù)存儲在自己的服務器上,僅僅利用云計算能力進行結(jié)果輸出,是不能實現(xiàn)的。原理很簡單,分布式計算的所有服務器都向一個存儲單位發(fā)送數(shù)據(jù)讀取請求,帶寬會被瞬間堵死,再強大的算力都無法發(fā)揮。
批量計算
如何使代碼在云計算的環(huán)境中發(fā)揮作用是一個很重要的問題。在地震科學研究方面,通過一個通用的接口來對云上的計算進行控制。
所提供的計算接口可以讓單機程序不做修改就高效執(zhí)行在云環(huán)境下。用戶通過幾句簡單的命令就能在云上調(diào)動大規(guī)模的計算資源進行分析,而不需要學習復雜的分布式計算知識。但云計算真正的核心技術(shù),還在于批量計算的算力調(diào)度之上。
計算規(guī)模擴大之后,就會造成對存儲資源的訪問非常頻繁,這時,對于訪問的并發(fā)量的控制就要非常謹慎了。
應用有非常多的小I/O請求,如果每一次I/O請求都直接訪問云存儲,由此帶來的延時會對計算效率造成影響。為了進一步優(yōu)化計算性能,批量計算采取了分布式緩存的策略,把有可能會用到的數(shù)據(jù),提前緩存到計算節(jié)點周圍。這樣,就可以讓計算能力不受集群規(guī)模的限制。
原本需要一年計算時間的整個中國數(shù)千個地震臺兩兩之間的五年數(shù)據(jù)的計算任務,在云計算中狂飆,兩天之內(nèi)就計算完成了。這在云計算到來之前是無法想象的。
免責聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認相關(guān)法律責任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請發(fā)送郵件至:operations@xinnet.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,本站將立刻刪除涉嫌侵權(quán)內(nèi)容。