族谱网 头条 人物百科

分布式文件系统

2020-10-16
出处:族谱网
作者:阿族小谱
浏览:403
转发:0
评论:0
历史第一个文件服务器在1970年代被发展出来。在1976年迪吉多公司设计出FileAccessListener(英语:FileAccessListener)(FAL)做为第二代DECnet(英语:DECnet)的一部分。这个系统实现了DataAccessProtocol,是第一个被广为使用的网络文件系统。在1985年太阳微系统创建了网络文件系统(NetworkFileSystem,NFS),这是第一个基于网际协议(InternetProtocol)而被广泛使用的网络文件系统。在相关技术的演进过程中,其他值得一提的网络文件系统还有安德鲁文件系统(AFS)、AppleFilingProtocol(AFP)、NetWare核心协议(NCP)、和一般被称为网络文件共享系统(CIFS)的服务器消息块(ServerMessageBlock,SMB)等。透通性分布式文件系统通常都内置有透通性,让实际上是...

历史

第一个文件服务器在1970年代被发展出来。在1976年迪吉多公司设计出File Access Listener(英语:File Access Listener)(FAL)做为第二代DECnet(英语:DECnet)的一部分。这个系统实现了Data Access Protocol,是第一个被广为使用的网络文件系统。在1985年太阳微系统创建了网络文件系统(Network File System,NFS),这是第一个基于网际协议(Internet Protocol)而被广泛使用的网络文件系统。在相关技术的演进过程中,其他值得一提的网络文件系统还有安德鲁文件系统(AFS)、Apple Filing Protocol(AFP)、NetWare核心协议(NCP)、和一般被称为网络文件共享系统(CIFS)的服务器消息块(Server Message Block,SMB)等。

透通性

分布式文件系统通常都内置有透通性,让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。服务器与存储设备之间的架构多样性与分离性,因此被隐藏了起来。而定位文件在系统中的位置与数据传输的机制,就有赖网络文件系统的设计了。

性能

一个普遍用来量测网络文件系统性能的方式是:它需要用多少时间来完成服务请求?在传统的系统中,完成请求所需要的时间包括了实际的硬盘访问时间,和一小部分的中央处理器处理时间。但在一个网络文件系统中,由于分布式架构的关系,远程访问动作会产生额外的经常性负担(英语:Overhead),包括:把请求从客户端送到服务器端的时间、把回应从服务器端传回客户端的时间、以及这两个传输过程中用来运行网络传输协议的中央处理处时间。一个网络文件系统的性能,可被视为是评估它透通性的一个维度,拿来与本地磁盘进行充分的对比。

同时更新文件

当多个用户或客户端同时访问并更新同一个文件的时候,并发控制即会成为一个议题。一个客户端对于文件的更新,应该不能干涉另一个客户端对该文件的访问与更新。并发控制或锁定机制可以内置在文件系统中,或是通过扩增协议来提供。

CAP定理

著名的CAP定理指出:在一个分布式数据存储架构中,数据的一致性(Consistency)、可用性(Availability)、和网络分隔的容忍程度(Partition tolerance)只能取二来做最优化,无法三者兼具。当代的分布式数据存储服务均是各自针对服务的内容和性质来作取舍,很难说有哪一个是通用的最佳解。

参见

List of file systems, distributed file systems section

Ceph

Disk sharing

Distributed data store

FhGFS

Global filesystem

Gopher

GlusterFS

Lustre

MooseFS

OneFS

WebDAV

XtreemFS

HDFS

GFS

云计算


免责声明:以上内容版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。感谢每一位辛勤著写的作者,感谢每一位的分享。

——— 没有了 ———
编辑:阿族小谱
发表评论
写好了,提交
{{item.label}}
{{commentTotal}}条评论
{{item.userName}}
发布时间:{{item.time}}
{{item.content}}
回复
举报
点击加载更多
打赏作者
“感谢您的打赏,我会更努力的创作”
— 请选择您要打赏的金额 —
{{item.label}}
{{item.label}}
打赏成功!
“感谢您的打赏,我会更努力的创作”
返回

更多文章

更多精彩文章
打赏
私信

推荐阅读

· 分布式计算
分布式计算项目Climateprediction.net:模拟百年以来全球气象变化,并计算未来地球气象,以对付未来可能遭遇的灾变性天气。Quake-CatcherNetwork(捕震网):借由日渐普及的笔记本电脑中内置的加速度计,以及一个简易的小型USB微机电强震仪(感测器),创建一个大的强震观测网。可用于地震的即时警报或防灾、减灾等相关的应用上。WorldCommunityGrid(世界社区网格):帮助查找人类疾病的治疗方法,和改善人类生活的相关公益研究,包括艾滋病、癌症、流感病毒等疾病及水资源复育、太阳能技术、水稻品种的研究等。D2OL:研究新药物。DPAD:设计粒子加速器。Einstein@Home:于2005年(定为世界物理年)的这一年开始的项目,预计是要找出脉冲星的引力波,验证爱因斯坦的相对论预测。Find-a-Drug:并行运行一系列项目,用来寻找一些危害人类健康的重大疾病的药...
· 文件系统
概述空闲空间示例:每簇4,096字节的NTFS文件系统,每个文件5字节,共100,000个文件,逻辑字节总共500,000字节,但由于一个文件需独占整数倍个簇(最后一簇无论是否占满,仍会独占一整个簇),实际占用磁盘空间409,600,000字节(每个文件5字节独占一个簇)文件系统是一种用于向用户提供底层数据访问的机制。它将设备中的空间划分为特定大小的块(或者称为簇),一般每块512字节。数据存储在这些块中,大小被修正为占用整数个块。由文件系统软件来负责将这些块组织为文件和目录,并记录哪些块被分配给了哪个文件,以及哪些块没有被使用。不过,文件系统并不一定只在特定存储设备上出现。它是数据的组织者和提供者,至于它的底层,可以是磁盘,也可以是其它动态生成数据的设备(比如网络设备)。文件名在文件系统中,文件名是用于定位存储位置。大多数的文件系统对文件名的长度有限制。在一些文件系统中,文件名是大小写不...
· 分布式发电
分布式发电的范畴分布式发电指的是较靠近负载端且发电容量较小的小型发电设备所组成的系统,主要包含下列几种热电联产(CHP)燃料电池太阳能发电风力发电斯特林发动机往复式发动机柴油引擎、汽油引擎分布式发电的好处减少输电损失:由于分布式发电大多较靠近供电区,故可避免因长程电力传输所造成的损失增加发电容量提高供电品质与稳定度,减少大规模断电的可能性及造成的危害(让备用发电机一直关闭、在需要使用时可能会故障)建置成本较集中式发电低廉,因为减少建设或扩充电力网的需求,而且许多地方(如医院)本来就有备援电源的需求,直接使用分布式发电系统是经济可靠的选择可以利用发电废热来供应热水、暖气,甚至可以使用吸收式冷却系统来供冷太阳能电池的大降价、风力发电的低成本,充电电池科技的发展,使得分布式发电具有经济竞争力;而且许多本来无法用于电动车/混合动力车辆/燃料电池车的充电电池技术,仍然可以使用于分布式发电,而避免被淘...
· Google文件系统
历史设计GFS专门为Google的核心数据即页面搜索的存储进行了优化。数据使用大到若干G字节的大文件持续存储,而这些文件极少被删除、覆盖或者减小;通常只是进行添加或读取操作。它也是针对Google的计算机集群进行的设计和优化,这些节点是由廉价的“常用”计算机组成,这就意味着必须防止单个节点的高损害率和随之带来的数据丢失。其它设计理念包括高数据吞吐率,甚至这带来了访问反应期变差。节点分为两类:主节点和Chunkservers。Chunkservers存储数据文件,这些单个的文件象常见的文件系统中的簇或者扇区那样被分成固定大小的数据块(这也是名字的由来)。每个数据块有一个唯一的64位标签,维护从文件到组成的数据块的逻辑映射。每个数据块在网络上复制一个固定数量的次数,缺省次数是3次,对于常用文件如可执行文件的次数要更多。主服务器通常并不存储实际的大块数据,而是存储与大块数据相关的元数据,这样的数
· MINIX文件系统
设计与实现一个MINIX文件系统由6个组成部分:引导块是总是存储在第一个块。在系统启动时,它包含了引导加载程序的加载和运行一个操作系统。第二个块是超块,它是存储有关文件系统,即允许操作系统来定位和理解其它文件系统结构数据。例如,数i节点和区,两个位图的大小和的起始块的数据区。该索引节点位图是一个简单的地图索引节点跟踪哪些是在使用中,哪些是免费的通过代表他们的任何一个(使用时)或零(免费)。该区域的位图的工作原理相同的方式作为索引节点位图,除了它跟踪的区域。该索引节点区域。每个文件或目录被表示为一个inode,它记录元数据,包括类型(文件,目录,块炭,管道),标识为用户和组,三时间戳记录的日期和上次访问时间,最后修改和最后的状态改变。一个inode还包含指向该区域中的地址的列表的数据区所在的文件或目录的实际存储数据。该数据区是在文件系统的最大组成部分,使用大部分空间。它是在实际的文件和目录的...

关于我们

关注族谱网 微信公众号,每日及时查看相关推荐,订阅互动等。

APP下载

下载族谱APP 微信公众号,每日及时查看
扫一扫添加客服微信