DDN大容量存储平台解决方案
目录
DDN大容量存储平台解决方案 ................................................................................................................ 1
1 项目需求分析 ........................................................................................................................................... 3
1.1 概述 ........................................................................................................................................ 3 1.2 高性能计算机集群存储系统的需求和特点： ................................................................. 3
2 存储系统方案设计 ................................................................................................................................... 5
2.1 存储系统方案拓扑 ............................................................................................................... 5 2.2 方案概述 ................................................................................................................................ 6 2.3 DDN SFA12K-20存储系统 ............................................................................................... 7 2.4 DDN GS12K ......................................................................................................................... 9 2.5 DDN DirectMon ............................................................................................................... 11 2.6 方案配置表 .......................................................................................................................... 11 2.7 SFA12k-20裸设备测试结果 ............................................................................................ 12
3 DDN服务支持 ........................................................................................................................................ 13
3.1 DDN售后服务支持方案 ................................................................................................... 13 3.2 培训 ...................................................................................................................................... 15
4 成功案例 .................................................................................................................................................. 16
4.1 DDN在全球石油气领域客户 ........................................................................................... 17 4.2 中国石油东方地球物理公司（BGP）高性能存储方案 ............................................... 17 4.3 中国石化石油勘探开发研究院高性能存储解决方案 ................................................... 19 4.4 Saudi Aramco地震数据处理存储方案 ......................................................................... 20
5 DDN公司简介 ........................................................................................................................................ 21
1 项目需求分析
1.1 概述
为了满足企业业务系统对存储性能和容量扩展需求，DataDirect（DDN）凭借全球HPC的丰富经验为用户提供基于DDN SFA12K-20高效能存储系统方案，搭配GPFS并行文件系统，满足用户对大容量高带宽存储应用需求，它可以在业务需求改变时，线性地火独立的扩展性能和容量，不仅能够降低横向扩容存储的复杂性，还能够通过移除存储群集的延迟元素，以提高存储的响应性，以最大限度的灵活性，应对其大数据对系统架构海量数据的规模和吞吐量需求。
1.2 高性能计算机集群存储系统的需求和特点：
高性能计算集群中在多个节点进行大规模并行计算的同时，需要进行大量文件及数据访问，对系统的存储性能也提出非常高的要求，系统对存储系统要求主要归结为以下几点：
全局统一命名空间
高性能集群相比较于其它应用而言，一个显著的特点是为了保证与集群中个节点间具有一个统一的命名空间，也就是说在集群中任何一个节点，对一个文件的读写、修改都会在其它节点生效，实现这一个功能，往往需要通过网络文件系统来实现，比较常见的实现方式是NFS。当前，由于集群规模的不断增大和对存储访问性能的要求逐渐提高，并行文件系统在高性能集群中的使用也越来越广泛。
高性能
对于集群规模较大，或高IO应用的集群用户，由于对存储的访问量很大，对共享存储的访问性能也提出了很高的要求。通常在硬件方面，可以通过提升存储磁盘阵列的性能、存储介质的性能、存储阵列访问接口性能和IO节点网络性能等，来提高整个共享存储的性能，而对于更高IO需求的系统，可以在软件层，通过并行文件系统来实现海量文件高速并发读写。
高密度、大容量、可扩展性
由于高性能集群规模不断扩大、数据处理能力惊人、业务数据成倍增长，对高性能存储容量需求也是非常惊人，在某些对海量存储需求的系统中，存储量往往可达到TB级甚至PB级。高密度、大容量、可扩展性存储系统，在用户管理、能耗、扩容性为用户提供了未来存储系统发展的最佳选择。
高可靠、高可用性
高性能集群承担着重要的业务和科研任务，用户的数据具有极高的价值，同时，存储系统为全局系统，一旦出现故障，将导致整个系统不可用。所以在高性能存储系统中，无论是IO节点、存储交换机、还是存储磁盘阵列、存储介质等，每个环节都要尽可能的保证高高可靠和高可用性。
2 存储系统方案设计
根据公司存储需求，此次提供两套存储方案供客户选择：
方案一：DDN SFA12K-20存储系统，依据DDN SFA12K-20产品为基础，配置8台服务器，搭建GPFS文件系统提供用户存储服务。
方案二：DDN GS12K存储系统，是DDN提供的基于SFA12K-20产品，内置GPFS、NSD服务器，为用户提供的一整套GS高速存储解决方案。
2.1 存储系统方案拓扑
方案一：DDN SFA12K-20存储系统解决方案
方案二：DDN GS12K存储系统解决方案
2.2 方案概述
方案一概述：
方案建议采用Datadirect Networks（DDN）的SFA12K-20高效能存储存储系统，配置一对互为冗余的SFA12K-20控制器，10个DDN SS7000扩展柜（每个扩展柜有60个磁盘插槽），504块4TB 7.2K RPM 6Gb/s NL SAS硬盘，其裸存储容量为2.016PB，可用容量约在1.6PB。。
方案使用GPFS文件系统，配置有8台NSD服务器，每台服务器配置2个双端口
FDR HCA卡，分别于DDN SFA12K系统和Cluster计算节点通过56Gb/s高速Infiniabnd网络互联，该方案存储系统可提供高达16GB/s的实测存储聚合带宽。
方案可与前期项目无缝融合，在不改变现有集群（Infiniband网络集群、万兆网络集群）架构、配置基础上，实现集群节点对新存储系统的高速访问。
方案二概述：
方案二GS12K为客户提供一整套基于Gridscaler（GPFS）并行文件系统方案，采用内置NSD服务器，预装GPFS文件系统，存储与NSD服务器之间采用数据内部交换，存储效率更高。
方案二采用内部集成方式，与方案一比采用内置GPFS文件系统方式，省去8台NSD server服务器及后续配置工作，为用户直接提供GPFS NAS存储接口，客户在使用和管理起来更为简洁、方便，其余物理硬件配置与方案一相同，文件系统性能也与方案相同。
2.3 DDN SFA12K-20存储系统
DataDirect Networks SFA12K-20: 直接提供给应用系统裸设备，裸设备读写带宽可达20GB/s，支持EXascaler、Gridscaler并行文件系统。
1. 行业领先技术优势
DDN存储在解决极端存储挑战方面有着行业所认可的丰富
经验，DDN存储在高性能计算和富媒体行业处于霸主地位，被用于全球最大型网站、存档设备、数百处全球最大的超级计算机和超过600家媒体。
SFA12K-20
DDN大规模多线程处理存储架构，将当今最先进处理器技术、总线技术和内
存架构技术融为一体，并搭配最最优化的RAID引擎和数据管理算法； SFA12K-20E采用内置存储系统处理流程，减少用户基础设施建设、降低用户
存储系统总体使用成本；
可满足对都延迟要求较高的应用系统的需求；
存储内部采用冗余、无阻塞内部SAS光纤网络，以支持数据的并发访问和保
护；
存储高密度，单机柜（42U）最大可支持840块硬盘；
在同一磁盘存储柜内，可支持任意比例的SSD、SAS和SATA同时使用； 支持16个FDR（56GB/s）Infiniband网络端口； 为高事务性和高带宽应用提供无与伦比的性能均衡。 2. 大容量/体积小
高密度存储机箱: 每个存储机箱最大容量为336TB（4U机箱，4TB磁盘），每
个存储机柜最大可容纳840块硬盘（42U机柜）； 每个机柜高达3.36PB存储容量（42U机柜，4TB磁盘）； 高达40GB/s带宽，以进行读写操作；
4KB随机IOPS读写缓存性能高达170万，超过140万到存储持续读写性能； 超过960Gb/s存储系统内部光纤带宽； 高达64GB高速镜像缓存；
DDN REAct可提供即时数据优化和缓存管理功能。 3. 高可用性
存储系统采用active/active双控制器模式，保障存储系统的高可用性；
采用Raid技术保障系统可用性，可支持最多损失机箱内20%磁盘； 存储系统支持冗余、热插拔的硬件组件，可最大程度存储系统的可用性； 高速存储缓存、镜像和备用电池保护 DDN自主DirecProtect+技术。 4. 数据保护
高效能Raid1，5，6技术；
DDN 磁盘错误检测和校正功能（DIF）； 日志快速驱动器重建。 5. 高效能
相比较传统的存储系统，SFA20k高密度结构设计，减少不必要的存储机柜、
转换开关、电源和风扇，可节省成本高达50%。 6. 易管理 SNMP；
基于Web图像界面； CLUI； 电子邮件告警；
2.4 DDN GS12K
DDN GS12K存储特性： Client Access ：
Native Linux and Windows ClientsHighly Available NFS v3 Client Connectivity
16 x 10/40GbE Host Port or 16 x 56Gb In_ niband Host Port Support for In_ niBand RDMA I/O Client to Gateway Load Balancing Many to One, and One to Many Client to Gateway Access Volume Scalability
Up to 3.45PBs of usable capacity (840 drives) Optional Metadata accelerator drives Up to 3.45PBs of usable capacity (840 drives) Over 10PB+ of Aggregated Capacity Performance
20GB/s per GS12K System (read & write) Aggregated Performance up to 200GB/sec 100,000s of File Operations/sec
Scale-Out
Add additional GS12K systems tothe Configuration network for
automaticstorage scaling Data Protection Data: RAID 6 (8+2)
Metadata: RAID 60
256 Snapshots per _ le system DirectProtect Data Integrity
Synchronous File System Replication Data and SystemsManagement
DirectMon - Centralized configuration andmonitoring solution Online File System Growth Object-Based File Locking
Monitoring and Event Notification System
2.5 DDN DirectMon
本方案配置一套DDN DirectMon存储系统监控管理软件，用于对存储系统硬件系统、并行文件系统进行监控管理。
2.6 方案配置表
PRODUCT QTY DESCRIPTION
12K20IB-7K10 1 12K20D-56IB with 10x SS7000 enclosures, 10x HMSMS-3M and10x HMSMS-6M cables, power and ICL cables, rail kits, licenses for SFA OS, dual UPSs and ATSs. 7K-4T6SX3UN 504 4TB 7,200 RPM 6Gb/s SAS drive module for SS7000 enclosure, Gen 2 RK42-9900EU-R SER-1U-268C2S 1 8 42U Rack with four PDUs for Europe - 9.9kW Max 1U DDN Server - Dual 2.6GHz Intel E5-2650 v2(8 core), 64GB (upgradeable to 192GB max), 2x 146GB 15K SAS, 4x 1GigE, 3x empty PCIe3 Slots, rails. No OS. RHEL subscription or evidence of site subscription required if RHEL is to be installed. MHQH39B-XTR GSS4S+DVD-UL-UR INS-GRDS-16 INS-SFA-FR10 16 16 1 1 ConnectX-3 VPI adapter card, dual-port QSFP, FDR IB (56Gb/s) / 40GigE, PCIe 3.0 x8 8GT/s, tall bracket GRIDScaler Server: 1-Socket License + 1 year support for GPFS v4 Standard Edition, includes RHEL 1 year 1 socket support and DVD Installation and configuration of GRIDScaler software; Up to 16 Servers Installation and Configuration of SFA block storage systems; up to 10 enclosures factory assembled rack; 30U, 42U and 45U racks only (50U racks require onsite assembly INS-SFA-OS10) SUP-BSPO-3 1 Basic Parts Only Support; storage systems, storage servers, disk drives and accessories; 7x24 remote support; parts only; replacement parts onsite NBD; does not include SW support for apps or file systems; 3-yr pricing
2.7 SFA12k-20裸设备测试结果
Read Raw device (XDD) GRIDScaler (IOR 2 NDS 17.3 GB/s 19.6 GB/s Writes 17.4 GB/s 15.8 GB/s servers)
3 DDN服务支持
3.1 DDN售后服务支持方案
作为SAN 基础设备技术的领导者，DDN 很好的理解关键任务数据的重要性，最大程度的提供24×7×365 的工作需求。我们根据客户需求，提供弹性的、人性化的支持方案。
免费的标准服务承诺：
DDN 提供2 年的硬件有限质保和90 天的软件产品支持。在质保期内，提供无限制的电话技术支持，30 天内承担故障机器维修和运输。技术支持时间为周一到周五的7:00AM‐6:00PM（节假日除外）。以下内容包含在免费的标准服务承诺：
●支持 30 天内部件的邮寄更换服务
●电话技术支持：周一到周五的 7:00AM‐6:00PM ●90 天的软件技术支持 ●技术服务简报
●90 天的私有网页及软件升级下载
●质保部件在质保期内免费维修及设备维修的运费
除了标准服务，DDN 还为部件邮寄更换和上门服务提供三种额外增加的支持服务。 扩充服务 – 包括备用部件的交换，7×24 小时的电话支持，进入私有技术支持网页权限。这种方案适合想要自己执行现场维修或是想快速更换替换部件的用户。电话技术支持提供24 小时服务。此项支持方案包括软件支持和软件的网页下载。这个方案是以年为单位来销售。以下内容包含在本方案中：
●核准的 24 小时内替换部件邮寄更换服务
●7×24×365 电话技术支持
●软件技术支持 ●技术服务简报
●私有网页和软件升级下载
高级服务 – 包括上门服务，多余备件的邮寄更换，7×24×365 电话技术支持，私有技术网站的接入权限。DDN 有一支高服务质量的SAN 专家来为您服务，可很好的解除您的维修烦恼。我们全球支持能力保证您一个电话可避免现场支持。软件支持和软件的网页下载包含在此支持包中。此方案是以年为单位来销售。以下内容包含在本方案中：
●DDN 服务工程师的下一工作日的现场技术维修支持 ●核准的 24 小时内替换部件邮寄更换服务 ●7×24×365 电话技术支持 ●软件技术支持 ●技术服务简报
●私有网页和软件升级下载
关键任务服务 – 这项服务方案是为承担不起长时间宕机的DDN 苛刻用户而设。这项服务需要同时购买DataDirect公司及我们的关键任务服务合作伙伴Anacomp公司的服务。方案服务包括，本地的备件，4 小时到达现场，备件的邮寄更换，7×24 小时的电话支持，软件支持和升级，以及进入我们私有支持网页的权限。DDN 有一支高服务质量的SAN 专家来为您服务，可很好的解除您的维修烦恼。我们全球支持能力保证您一个电话可避免现场支持。软件支持和软件的网页下载包含在此支持包中。此方案是以年为单位来销售。以下内容包含在本方案中：
●DataDirect或者Anacomp的服务工程师提供4 小时上门技术维修支持
●当地“城市”备件支持 ●高级别的备件支持
●核准的 24 小时内替换部件邮寄更换服务 ●7×24×365 电话技术支持 ●技术服务简报 ●软件技术支持
●私有网页和软件升级下载
3.2 培训
DDN可为用户提供专业存储系统硬件管理、维护管理、用户使用、文件系统管理和使用内容，培训计划安排如下：
序号 1 2 3 4 5 6 7 8 9 课程 DDN存储系统介绍 DDN存储系统产品线 DDN存储系统结构 DDN存储系统的安装 DDN存储系统的调试 DDN存储和GPFS的使用 DDN存储管理和日常维护 DDN存储和GPFS故障排除 DDN存储和GPFS性能调优 GPFS安装 课时 0.5 0.5 0.5 0.5 1.0 1.0 1.0 1.0 1.0 0.5 讲师 备注 10
11 12 GPFS设置与调试 合计课时 1.0 8.5 4 成功案例
DDN在中国石油气领域，为以下单位提供了高速存储系统： 中石油东方物探 中石油兰州西地所 中石油长庆油田 中石化南京物探院 中石化胜利物探院 中石化北京研究院
并且在全球为几大石油公司提供10PB以上的存储系统，例如，Saudi Aramco一次购买16套SFA12KE系统，其中5套用于生产系统，一套用于测试系统。
4.1 DDN在全球石油气领域客户
4.2 中国石油东方地球物理公司（BGP）高性能存储方案
DDN提供高效能存储解决方案，主要解决了中国石油东方地球物理公司在石油勘探领域对高性能、大容量存储需求，运行主要业务平台为GeoEast。
高性能存储方案配置如下：
2套DDN SFA7700存储盘阵： - -
2台DDN SFA7700主盘柜，每个主盘柜带一个SFA7000副盘柜；
每台SFA7700有2个控制器，每个控制器有2个56Gb/s FQR Infiniband接口与IB交换机相连； - -
240块 4TB 7200转硬盘； 共计24个 Pools(8+1 Raid5)
IO节点基本配置： - - - -
共计8台IO节点；
每台IO节点2个Intel CPU（Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz） 每台IO节点64GB Memory
每台IO节点通过一个双端口56GB FQR Infiniband接口与IB交换机相连
文件系统采用GPFS
实测峰值：
最大总聚合读带宽：9.71GB/s 最大总聚合写带宽：13.04GB/s 单节点 服务器实测读带宽：4.6GB/s 单节点服务器实测写带宽：5.23GB/s 存储系统拓扑如下：
4.3 中国石化石油勘探开发研究院高性能存储解决方案
DDN中石化石油勘探开发研究院高性能存储解决方案，主要满足用户OMEGA软件对高性能存储需求。
存储方案配置如下：
1套DDN SFA7700存储盘阵： -
1台DDN SFA7700主盘柜，每个主盘柜带一个SFA7000副盘柜并配置2个DDN SFA8460副盘柜； -
DDNSFA7700主盘柜配置有2个控制器，每个控制器有2个56Gb/s FQR Infiniband接口与两台IO节点直连； - -
168块 4TB 7,200 RPM 6Gb/s SAS硬盘； 1台EF3015存储，用作文件系统元数据。
IO节点基本配置： - - - - -
共计2台IO节点；
每台IO节点2个Intel CPU（Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz） 每台IO节点64GB Memory
每台IO节点通过一个40Gb万兆卡与交换机相连， 每台IO节点通过一块双端口HBA与EF3015存储相连。
并行文件系统Exscaler（lustre）
方案拓扑：
4.4 Saudi Aramco地震数据处理存储方案
沙特石油公司是全球最大的油气田公司，DDN提供的高效能存储解决方案解决了其上千节点集群对存储系统高速并发访问的需求。
从2007年至今，DDN已为沙特石油公司提供约500GB/s的文件系统持续读写带宽，设备类型包括DDN S2A9550，S2A9900，SFA10K和在2012年采购的基于GridScaler并行文件系统SFA10K-E（万兆存储解决方案）和SFA12K-20E（万兆和40GB QDR存储解决方案）。
存储系统承载的应用如下：
CSSP (Focus, Paradigm, Disco) since 2007 PSDM, PSTM, PSDM Like (GPT) Reservoir Simulation (P/GP) R&D, Simulation Petrel
Saudi Aramco 2012 2nd Procurement
Requirement 260GB N/N
7900TB useable + Test Frame 15套 SFA12KE-20 one for test frame 7800 client licenses 300 x 3TB SAS NL 7K, Total 4580 hdd 40GE ports (8 per SFA)
配置大概 ~200 I/O nodes x 10GE clients New Extreme Networks BDX8 10GE/40GE Fabric
5 DDN公司简介
DataDirect Networks（DDN）是一家提供高性能存储的专业存储公司，总部位于美国洛杉矶，DDN提供的存储系统主要服务于大容量和高带宽应用。DDN 是内容存储和大数据，以及云计算时代可高度扩展的存储方案之先驱，他的产品完美解决各种复杂的存储系统难题，尤其适用于云计算，Internet 内容托管、数据备份、计算机建模和模拟、磁带置换以及影片和视频的制作及分发等领域。
DDN 已经成全球第四大专业存储供应商，特别在高性能计算领域得到了广泛采用，已成为超级计算机的存储霸主。每一次的TOP500 排名中的前100 名HPC 系统，都有约60%的系统，使用DDN 的存储。例如，两次排名第一的日本的”京”就使用了15PB的DDB 存储。在2010 年11 月的全球最快的TOP500 排名中，DDN 的业绩为：
排名前 10 个系统中，8 个使用DDN 存储
排名前 20 个系统中，15 个使用DDN 存储 排名前 100 个系统中，57 个使用DDN 存储
美国一些重要的国家实验室都是DDN 的客户。其中包括美国国家超级电脑应用中心、美国国家海洋和大气局预测系统实验室、美国白沙导弹基地、美国国家大气研究中心、圣地亚哥超级计算机中心、美国陆军研究实验室等。为美国的Oak Ridge 国家实验室的超级计算机提供了读或写速度为250GB/s 的带宽。 DDN 为法国的CEA 超级计算机系统提供了世界最快的文件系统，其存储的读或写的带宽可超过350GB/s。欧洲最快的德国莱布尼茨超级计算中心（LRZ）使用了DDN 的最新的SFA12K 存储产品，SFA12K 针对的是大数据市场。美国橡树岭国家实验室的TITAN 系统，配置了全球最快存储系统，使用36 套DDN SFA12K-40 系统，其读写速度可达1400GB/s。
DDN 不仅是全球高性能计算（ HPC）行业的存储霸主，还是内容核心(视频，音频，图片等)解决方案的领军者，针对具有大量内容文件和非结构化数据的应用，能解决现今最为苛刻的存储要求，包括对共享数据池的高速访问、降低大规模归档的数据中心空间和存储成本、降低模拟计算时间、以及采集和伺服海量数字内容。DDN 是全世界500 多个广播电视和后期制作公司的数据架构供应商。 DDN 的产品在中国广电市场得到了广泛应用，已经有逾三百家广电用户将DDN 存储集成到其数据管理解决方案中，来满足吞吐密集的需求，包括中央和多家省级电视台。中国最大的电视网络——中国中央电视台(CCTV)选择了DDN 公司的硅存储架构(S2A)平台，实现了向10亿多观众直播北京奥运会，同时，CCTV 还要向国外众多广播电视机构提供电视信号，这都给数据带宽、吞吐能力和扩展性提出了前所未有的高要求，而DDN 的产品完全满足了其需求。
DDN 还是云存储的先驱，2010 年既开始为用户提供基于对象的云存储装置
-WebObject Scaler（WOS）。基于Web 的面向对象的存储（WOS）在澳大利亚，英国，美国等的视频监控，政府数字安全等领域得到了广泛应用。被大大应用于基于云的平台，例如：欧洲最大的在线照片共享服务网站PhotoBox（拥有超过1100 万会员，并在近15 个国家），微软Xbox live 在线游戏的网站（2300 万会员），社交游戏网站Slide，美国在线照片分享服务提供商Shutterfly的网站（50 亿幅照片），韩国三星的手机服务。
DDN 的存储系统采取了并行存储技术，高度并行端口技术（HPPT），这消除了交换机制所带来的不可避免的时间延迟，能够提供持续不变的可以充满端口带宽的数据吞吐量。DDN 的RAID 控制器内部的四个主机通道之间采用虚拟的并行DMA 体系结构，通过提供并行处理和并行数据读写途径，使在多主机的SAN 环境中具有非常高的不受多主机环境影响的使用性能。此外，它还在磁盘通道之间采用了并行处理的RAID技术，从而使系统的校验计算和磁盘的访问可以并发进行。
DDN 为客户提供其他厂家无法提供的服务
针对高吞吐量、高实时性要求的用户, DDN 在行业中处于绝对领先地位 后期制作及广播
网络媒体, 实时 Web 2.0 高性能计算
针对需要存储的高扩展性同时具有性能一致性的用户,其他存储与DDN 的产 品无可比性 归档
工程和生命科学 石油和天然气
SFA/S2A（Storage Fusion Architecture/Silicon Storage Architecture）的独特优势：
为应用而优化的技术 支持超大容量,极高的扩展性
并行存储技术（整体多线程存储处理能力）
Power LUNs 和DirectRAID技术（智能并行写入技术） 虚拟端口技术 无可匹敌的存储密度 高效节能
因篇幅问题不能全部显示，请点此查看更多更全内容