技(jì )术资料

前几期，和大家分(fēn)享了我们奥工(gōng)服務(wù)小(xiǎo)分(fēn)队对超算领域三大主流文(wén)件系统的测试小(xiǎo)实践，所谓“主流”必定占了大市场，有(yǒu)着强大不可(kě)动摇的优势和地位。于是我们不禁思考，有(yǒu)“主流”的强势存在，那么“非主流”的小(xiǎo)市场又(yòu)是如何维持的呢(ne)？他(tā)们到底有(yǒu)什么独特之处呢(ne)？

所以本期，让我们转换视線(xiàn)，看看超算领域的“非主流”并行文(wén)件系统——GFS、GlusterFS和PNFS，他(tā)们到底有(yǒu)什么样与众不同的小(xiǎo)优势吧！

一、关键词：廉价/大型/Google/容错

Google文(wén)件系统（Google File System）简称GFS，是Google公(gōng)司為(wèi)了存储海量搜索数据而设计的大型专用(yòng)分(fēn)布式文(wén)件系统，常用(yòng)于高性能(néng)计算或大型数据中(zhōng)心。

GFS非常独特且有(yǒu)意思的一点，它运行在廉价的普通硬件上，提供容错功能(néng)，将部件故障视為(wèi)正常现象，节点失效在它眼中(zhōng)是种常态，而不是一种异常，可(kě)以通过软件的方式自动容错，在保证系统可(kě)靠性和可(kě)用(yòng)性的同时，大大降低系统成本。

Google GFS的新(xīn)颖之处并不在于它采用(yòng)了多(duō)么令人惊讶的技(jì )术，而在于它采用(yòng)廉价的商(shāng)用(yòng)机器构建分(fēn)布式文(wén)件系统，与Google应用(yòng)的特点紧密结合，从多(duō)个角度、用(yòng)多(duō)个方法、不同的容错措施，在“频繁的故障”与“数据安(ān)全、不间断”这两者之间寻求平衡，确保系统安(ān)全，最终达到创新(xīn)、有(yǒu)用(yòng)、可(kě)行的完美组合。

除此之外，Google文(wén)件系统还有(yǒu)很(hěn)多(duō)与众不同，比如它的文(wén)件读写模式和传统的文(wén)件系统不同，在google应用(yòng)中(zhōng)对大部分(fēn)文(wén)件的修改，不是覆盖原有(yǒu)数据，而是在文(wén)件尾追加新(xīn)数据；文(wén)件系统的某些具(jù)體(tǐ)操作(zuò)不再透明，而且需要应用(yòng)程序的协助完成，应用(yòng)程序和文(wén)件系统API的协同设计提高了整个系统的灵活性。

二、关键词：开源/横向扩展/适应性强

GlusterFS是一个开源分(fēn)布式文(wén)件系统，作(zuò)為(wèi)Scale存储的核心，具(jù)有(yǒu)强大的横向扩展能(néng)力，可(kě)支持数PB存储容量和数千客户端，是整合了许多(duō)存储块通过Infiniband RDMA或者 TCP/IP方式互联的并行网络文(wén)件系统。

GlusterFS的优势非常明显，除了具(jù)有(yǒu)可(kě)扩展、高性能(néng)、高可(kě)用(yòng)等特点，还支持运行在任何标准IP网络上标准应用(yòng)程序的标准客户端。除此之外，GlusterFS可(kě)以帮助用(yòng)户摆脱原有(yǒu)独立、高成本的封闭存储系统，利用(yòng)普通廉价的存储设备来部署可(kě)集中(zhōng)管理(lǐ)、横向扩展、虚拟化的存储池，存储容量可(kě)扩展至TB/PB级。

相对于其他(tā)超算领域的并行文(wén)件系统，GlusterFS的容量可(kě)以在保障性能(néng)不降低的前提下按比例扩展，具(jù)有(yǒu)廉价、部署方便、操作(zuò)简单、适应性强等特征，它扩展和容错的设计相对也比较合理(lǐ)，适用(yòng)于解决网络存储、联合存储、冗余备份、大文(wén)件的负载均衡等问题。

但由于缺乏一些关键特性，加上GlusterFS的可(kě)靠性未经过長(cháng)时间考验，目前并不适用(yòng)于需要提供 24 小(xiǎo)时不间断服務(wù)的产(chǎn)品环境，同时由于GlusterFS的通用(yòng)性，没有(yǒu)对小(xiǎo)文(wén)件额外优化，所以也不适用(yòng)于小(xiǎo)文(wén)件特别是海量小(xiǎo)文(wén)件（小(xiǎo)于1M），在其存储效率和访问性能(néng)上都表现不佳。

三、关键词：NFS/Parallel/速率

NFS(Network File System)是第一个现代网络文(wén)件系统，通过NFS一台计算机就可(kě)以和同一网络中(zhōng)的其他(tā)计算机共享物(wù)理(lǐ)文(wén)件系统，是大多(duō)数局域网的重要组成部分(fēn)。

但是，NFS处理(lǐ)高性能(néng)计算一直不太理(lǐ)想，高性能(néng)计算会涉及到大量的数据文(wén)件，所以在NFS 标准的最新(xīn)修改纳入了 Parallel NFS（PNFS），它将普通NFS的优势和并行输入输出（I/O）的高速率结合起来，使得文(wén)件共享可(kě)以并行实现，并将传输速率提高了几个数量级。

作(zuò)為(wèi)一款适用(yòng)于高性能(néng)计算的并行文(wén)件系统，PNFS允许计算客户端直接和并行地向物(wù)理(lǐ)存储设备读取和写入数据，保留了NFS的所有(yǒu)优点，解决了传统NFS的性能(néng)瓶颈，改善了性能(néng)和可(kě)延伸性，从而使得系统获得了高性能(néng)和高扩展性，并支持多(duō)种协议直接访问数据。

但是目前来看，PNFS商(shāng)业和开源产(chǎn)品都比较少，实现方面也还不成熟，这也算是它没有(yǒu)挤入超算领域主流文(wén)件系统之列的原因之一吧。

通过上述简单的介绍，想必大家对超算领域的非主流并行文(wén)件系统都有(yǒu)了一个大概的认识。或许他(tā)们不像主流文(wén)件系统那样优势强大或者使用(yòng)广泛，但他(tā)们凭借各自的优势目前都在现代网络中(zhōng)占有(yǒu)了一席之地，这一点毋庸置疑。