您好、欢迎来到现金彩票网!
当前位置:打鱼棋牌游戏平台 > 网络文件系统 >

Nutch分布式文件系统:解决网络文件存储管理

发布时间:2019-05-27 05:32 来源:未知 编辑:admin

  NDFS:在一系列机器上存储庞大的面向流的文件,包含多机的存储冗余和负载均衡。 文件以块为单位存储在NDFS的离散机器上,提供一个传统的input/output流接口用于文件读写。

  块的查找以及数据在网络上传输等细节由NDFS自动完成,对用户是透明的。而且NDFS能很好地处理用于存储的机器序列,能方便地添加和删除一台机器。当某台机器不可用时,NDFS自动的保证文件的可用性。只要网上的机器序列能提供足够的存储空间,就要保证NDFS文件系统的正常运作。

  NDFS是建立在普通磁盘上的,不需要RAID控制器或者其它的磁盘阵列解决方案。

  2). 文件是面向流的,只能在文件末尾加字节流,而且只能读写指针只能递增。

  所以,所有对NDFS的访问都是通过验证的客户代码。没有提供API供其它程序访问。因此Nutch就是NDFS的

  1)NameNode: 负责存储整个名字空间和文件系统的布局。是一个关键点,不能down掉。但是做的工作

  2)DataNode:负责存储数据。一个块应该在多个DataNode中有备份;而一个DataNode对于一个块最多

  3)合作:DataNode在启动后,就主动与NameNode通信,将本地的Block信息告知NameNode。NameNode据此可以构造一颗树,描述如何找到NDFS中的Blocks。这颗树是实时更新的。DataNode会定期发送信息给NameNode,以证明自己的存在,当NameNode收不到该信息时,就会认为DataNode已经down了。

  4)文件的读写过程:例如Client要读取foo.txt,则有以下过程。

http://g-unitkennels.com/wangluowenjianxitong/22.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有