下面哪個程式負責hdfs資料儲存

時間 2021-08-30 11:13:07

1樓:hao大森

負責“hdfs”和“資料儲存”的程式是hdfs。

hadoop分散式檔案系統(hdfs)被設計成適合執行在通用硬體(commodityhardware)上的分散式檔案系統。

它和現有的分散式檔案系統有很多共同點。但同時,它和其他的分散式檔案系統的區別也是很明顯的。hdfs是一個高度容錯性的系統,適合部署在廉價的機器上。

執行在hdfs之上的程式有很大量的資料集。典型的hdfs檔案大小是gb到tb的級別。所以,hdfs被調整成支援大檔案。

它應該提供很高的聚合資料頻寬,一個叢集中支援數百個節點,一個叢集中還應該支援千萬級別的檔案。

大部分的hdfs程式對檔案操作需要的是一次寫多次讀取的操作模式。一個檔案一旦建立、寫入、關閉之後就不需要修改了。

這個假定簡單化了資料一致的問題和並使高吞吐量的資料訪問變得可能。一個map-reduce程式或者網路爬蟲程式都可以完美地適合這個模型。

2樓:暢遊之悠悠

存放到hdfs 一般都是要分析的資料。分析完成的資料直接儲存到mysql 或者oracle 中。這種處理方式是離線處理。

如日誌檔案儲存到hdfs 分析出**的流量 uv pv 等等。一般都是用pig hive 和mr 等進行分析的。 存放到hbase 一般都是資料拿過來直接用...

求解matlab程式問題,下面程式的 if s1 i

酷呆愛死呆 figure 2 for i 2 n if s1 i,1 200 i可以取2,3,4,5.n,s1 i,1 列沒變,那麼就是s1 2,1 s1 3,1 s1 4,1 s1 n,1 可以看出取的是第一列元素,s1 1,1 沒取 l 2 for j 1 m x1 j,1 x i 1,j y1...

建站程式用哪個好?php建站程式哪個好?

主要看是企業站還是個人部落格站還是其他站點,一般來說wordpress比較好,安全效能也很好,而且有很多模版可以使用。wordpress這個非常活躍,用的人多,問題一搜一堆解答,無論是部落格,官網,電商都可以,我製作了一鍵指令碼,很方便搭建,可以跟我溝通一下。1 squarespace 評分 五顆星...

4 寫出下面程式的功能void ss char s1,char s2while s1

這應該是一個函式,函式的形參是兩個字元型指標,現在來分解它的步驟 這個函式裡面有兩個迴圈。第一個迴圈。whlie s1 0 s1 0 在程式裡面代表,1個字串的結尾,所以這一句的作用,是把一個指標,指向的位置移動到字串的最後一位,接下來看第二個迴圈 s2 0 s1 s2 s1 s2 他所表達的意思就...