EMC Isilon实施手册v0.4.pdf

'易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2EMCIsilon实施手册—OneFS6.5版本修订人日期备注v0.1YerikGao2011-08-21实施初稿v0.2YerikGao2011-09-04增加管理命令，InsightIQ配置V0.3YerikGao2011-09-08增加SmartLock配置V0.4YerikGao2012-03-23修改SmartConnect相关配置1/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.22/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2目录一.Isilon简介及模块.................................................................................................................................................51.1Isilon集群存储特点.........................................................................................................................................51.2Isilon软件模块.................................................................................................................................................81.2.1SmartConnect介绍.....................................................................................................................................81.2.2SmartQuota介绍.......................................................................................................................................111.2.3SnapshotIQ介绍.......................................................................................................................................121.2.4SyncIQ介绍...............................................................................................................................................141.2.5InsightIQ介绍.........................................................................................................................................161.3Isilon集群存储硬件环境...............................................................................................................................16二．实施准备................................................................................................................................................................172.1网络环境............................................................................................................................................................172.1.1内部网络....................................................................................................................................................172.1.2外部网络....................................................................................................................................................172.2IP地址、主机名、密码规划...........................................................................................................................182.2DNS准备.............................................................................................................................................................182.3LDAP准备...........................................................................................................................................................202.4AD准备...............................................................................................................................................................20三．Isilon实施过程...................................................................................................................................................293.1连接拓扑与开机加电........................................................................................................................................293.2创建、加入Isilon集群..................................................................................................................................303.2.1创建第一个节点........................................................................................................................................303.2.2加入新Isilon节点..................................................................................................................................423.3配置共享............................................................................................................................................................463.3.1配置SMB共享............................................................................................................................................463.3.2配置NFS共享............................................................................................................................................503.3.3配置iSCSI共享........................................................................................................................................523.3.4加入AD.......................................................................................................................................................573.3.5加入LDAP...................................................................................................................................................573.4配置SMART特性................................................................................................................................................593/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.23.4.1配置AdvancedSmartConnect.................................................................................................................593.4.2配置SyncIQ...............................................................................................................................................663.4.3配置SmartQuota.......................................................................................................................................693.4.4配置SnapshotIQ.......................................................................................................................................713.4.5配置SmartPool.........................................................................................................................................733.4.6配置InsightIQ.........................................................................................................................................733.4.7配置SmartLock.........................................................................................................................................82四．Isilon维护（CLI）.............................................................................................................................................834.1查看集群状态：................................................................................................................................................834.2集群、节点的关闭与重启................................................................................................................................844.2.1关闭、重启节点........................................................................................................................................844.2.2关闭、重启集群........................................................................................................................................844.3集群硬件配置....................................................................................................................................................854.3.1更换硬盘....................................................................................................................................................854.3.2添加节点....................................................................................................................................................854.3.3移除节点....................................................................................................................................................864.4其他命令............................................................................................................................................................864/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2一.Isilon简介及模块1.1Isilon集群存储特点Isilon分布式集群NAS存储是集群NAS市场的领导者。Isilon集群存储是一种开放式的存储架构，采用分布式的操作系统，将多台物理存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池（也叫统一命名空间），应用可以通过该访问接口非常容易的管理存储池后端物理存储设备上所有的磁盘，充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的负载均衡策略，从多台存储设备上存储和读取，以获得更高的存储性能。从以上定义中，Isilon集群存储有六个非常关键的特点：开放式架构（高扩展性）：开放式架构是针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都采用业界最新技术而不用改变集群存储的架构，而且扩展起来非常方便，像搭积木的方式进行存储的扩展。尤其对于对增长趋势不好预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。Isilon单一文件系统最大可扩展到144个存储节点，15.5PB的存储空间。分布式操作系统：分布式操作系统是集群存储的灵魂所在，所有对集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处，就是各个节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。而且在全分布的系统下，任何一个存储节点出现故障，对整个集群存储的影响微乎其微，不会出现全局性大面积影响。单一文件系统：IsilonONEFS单一文件系统带来的统一命名空间可以有效的消除存储热点时的性能，目前Isilon最大支持的单文件系统容量为15.5PB。易管理性：Isilon通过单一Web界面进行管理和配置，可以集中的，简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议（比如NFS，CIFS）访问集群存储。而且随着集群存储容量的增加，客户不需要增加额外的管理人员，将精力更多的投向自己的应用方面。管理10TB存储与10PB存储没有任何差异。负载均衡：Isilon集群存储通过分布式操作系统的作用，会在前段和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上，大大减轻了每个节点的负载。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取，每个读写操作都由更多的磁盘参与，因此将大大的提高读写操作的性能。高性能：集群存储的架构，决定它非常适合高带宽，高并发访问的应用模式。同时高IOPS、随机5/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2访问、小文件访问以及备份归档等其他类的应用，Isilon集群存储应该在以上领域同样提供高性能的解决方案。Isilon存储文件的过程:第1步文件被打碎成条带第2步条带被打碎成相同大小的小块并且计算生成校验块第3步每个块包括校验快被写入到不同设备中（通常是硬盘）第4步我们失去了一个硬盘驱动器，丢失了一个块，但我们需要这个文件，怎么办呢？6/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2第5步收集剩余的块值（包括校验值）第6步计算出缺失的值（校验值减去其他值）第7步根据这些值重新生成条带第8步条带重新组成文件，终端用户甚至不知道硬盘损坏了7/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.21.2Isilon软件模块Isilon软件模块包括SmartConnect、SmartQuota、SyncIQ、SnapshotIQ等。1.2.1SmartConnect介绍SmartConnect是OneFS的一个软件模块，包含Basic和Advanced两种版本，Basic包含在OneFS中，Advanced版本则需要单独购买License。SmartConnect用来进行客户连接负载均衡，客户端连接单个主机名称，简化了连接设置，通过平均分配客户端连接到各个节点来提高性能。SmartConnectBasic:基本版只提供一种均衡策略RoundRobin（轮流）和两个可管理zone（区域），即可以有两个子网，每个子网只能有一个地址池，需要依赖客户现有的DNS服务器（也可以自己充当DNS服务器），不需要修改客户端软件或者设定，不支持NFSFailover。SmartConnectAdvanced:需要单独授权，高级版具有更强的链接管理能力，连接分配策略增加了connectioncounting（连接数），CPUutilization（CPU使用率）和aggregatethroughput（吞吐量），而基本版只有roundrobin（轮流），允许一个或多个子网上有多个Zone（区域），支持动态NFSfailover（故障切换），也支持重新均衡现有NFS连接。SmartConnectBasic工作原理：<1>客户端映射\storage.isilon.comifs<2>客户端向DNS服务器请求“storage.isilon.com”的IP地址<3>DNS服务器将请求“storage.isilon.com”转发给SmartConnect服务IP<4>SmartConnect返回一个节点的外部网络接口地址（根据策略选择）<5>DNS服务器将结果回馈给客户端<6>客户端连接获得的IP地址，连接到指定节点*以上所有过程对于用户透明8/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2SmartConnectBasic工作原理SmartConnectAdvanced工作原理：（与Basic略有不同）<1>客户端映射\storage.isilon.comifs<2>客户端向DNS服务器请求“storage.isilon.com”的IP地址<3>DNS服务器将请求转发给SmartConnect<4>SmartConnect根据策略从IPPool中返回一个FailoverIP地址<5>DNS服务器将查询结果返回给客户端<6>客户端连接FailoverIP地址9/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2SmartConnectAdvanced工作原理配置SmartConnect需要在DNSServer的zone文件中添加serviceip的NS记录：storage.isilon.com.INNSserviceip.isilon.com.serviceip.isilon.com.INA10.9.44.10其中storage.isilon.com.就是Isilon中的SmartConnectZonename.serviceip.isilon.com.是Isilon中的ServiceIP域名,在Isilon中不需设置,但是ServiceIP需要在Isilon中设置.例：配置一个三节点的集群SmartConnect（图片见上图）<1>在subnet0（含所有节点的外部网络接口1）中创建pool0，静态地址范围：10.9.44.11-10.9.44.13<2>配置SmartConnect高级版服务，给subnet0配置一个SmartConnect服务IP：10.9.44.10<3>在subnet0中创建pool1，动态地址范围：10.9.44.20-10.9.44.30配置DNS服务器将查询“storage.isilon.com”的请求转发到10.9.44.10(SmartConnect服务IP)<4>客户端连接“storage.isilon.com”10/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2注：配置故障切换IP范围时，根据连接的客户端数目来决定配置多少IP地址，为节点配置更多的地址，在节点离线时可以更好的均衡负载到其他节点。1.2.2SmartQuota介绍Quota（配额）是用来跟踪和限制用户、组及项目存储量使用的工具；根据配额的配置，超过限定空间可能会被拒绝写入，也可能只是收到简单的警示；配额可以用来有效防止用户或部门侵占其他用户和组的存储空间，在存储空间紧张的系统中尤其有用。SmartQuotas是授权的软件模块，可以让管理员在存储利用方面有更大的控制力，配额可以针对用户，组或者目录/文件夹；支持两种高级配额：Accounting（记账型）和Enforcement（强制型）。记账型配额：跟踪利用率但不会限制使用量，可以在报告中查看结果，因为没有设置阈值，所以也不会产生报警，主要用来看存储使用的趋势；强制性配额：根据管理员定义阈值的不同，强制型配额有3种子类型Enforcement，Hard（硬限制）,Soft（软限制），Advisory（劝告型）。硬限制–通过硬性的限制严格控制空间使用，如果达到了阈值，写入会被马上拒绝，当空间使用降低到了阈值以下，就可以重新进行写入操作，文件夹型硬限制允许管理员显示磁盘空间为：A)Sizeofhardthreshold（硬限制阈值的大小）B)Sizeofcluster（集群的大小）如果选择了“Sizeofhardthreshold”即硬限制阈值的大小，那么用户只会看到配额设置的容量而不是集群的容量。例如，一个10TB的集群为/ifs设置了20TB的配额，用户连接集群后会看到可用容量为20TB（尽管超过集群的大小）。软限制–管理员定义一个graceperiod（缓和期），当空间使用超过阈值时，缓和期自动开始当缓和期到期，则限制变为硬限制，将拒绝写入，当使用率降低到阈值以下，就可以重新进行写入操作劝告型–不会限制写入，但是会触发报警和警示SmartQuotas的配额计算可以基于：用户数据的逻辑大小，而不是占用物理空间的大小（默认值）实际占用的物理空间，即包括用户数据和保护用的校验数据。11/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2配额域中定义了目标，文件和文件夹等构成配额的要素，一个配额域一定会包含一个文件夹或者路径，也可能有如下要素：用户：指定的用户在指定文件夹的空间使用限制。可以为指定用户创建用户配额或者链接用户配额到某个默认用户；组：指定的组在指定文件夹的空间使用限制。可以为指定组创建组配额或者链接组配额到某个默认组。自动精简配置（也被称为OverProvisioning，轻载）允许管理员分配超过集群大小的配额；例如，一个10TB的集群配置了4个配额，配额1和2是文件夹配额，每个大小4TB，配额3和4是用户配额，每个大小2TB，通过配额配置的总空间是12TB（4+4+2+2）；精简配置的集群可能会在没有超过配额的情况下占满空间。可以通过命令行命令“isiquota”或WebUI来创建配额，WebUI中选择FileSystems>SmartQuotas进入配额管理1.2.3SnapshotIQ介绍Snapshots（快照）通常被用来进行数据的多版本维护，快照能够允许用户或者管理员快速恢复变更或者已被删除的文件；有多种类型的快照和生成快照的方法，有些快照会创建整个数据的拷贝，有些只是存数据变动，SnapShotIQ是需要购买的授权模块。快照可以是基于集群，文件夹或者子文件夹级别的。Isilon集群可以做无限快照，默认sysctl会设置限制为2048，可以通过修改sysctl来提高限制，Isilon不建议同一个文件夹有超过1024个快照。SnapshotIQ使用Point-in-Time(PIT)和Copy-on-Write(COW)方式来生成快照，大多数快照都是使用其中一种方式生成的，OneFS会根据写入操作的不同动态选择生成快照的方式；PIT用于大型持续写入操作，COW用于小文件改变。快照可以被锁定防止被删除，如果锁定了快照，即使快照过期后也不会被删除。所有的快照可以在/ifs/.snapshot（一个虚拟的文件夹）下访问到，快照也可以在抓取快照的文件夹下的.snapshot路径访问到（例如：/ifs/data/music/.snapshot）。PIT快照：12/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2文件修改前文件修改后COW快照：文件修改前13/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2文件修改后快照保留生成时的权限，如果文件的权限改变了，不影响之前此文件快照的权限；快照是只读的。管理员可以通过WebUI和命令行命令来：查看现有快照、列出周期快照、监控各个快照的空间使用。所有SnapshotIQ的选项可以再WebUI的FileSystem>SnapshotIQ下找到命令行命令（有一系列子命令）为:isisnapshot1.2.4SyncIQ介绍SyncIQ是异步文件复制模块，需要购买的授权模块，其功能是从Isilon集群复制数据到其他Isilon集群，参与集群的大小和型号不必相同，可以通过任何IP链路复制，WAN（广域网）或者LAN（局域网）。14/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2SyncIQ复制新的/修改过的文件，而不是数据块，如果文件改变，复制的是整个文件而不是改变的部分每个复制都是单路的，从源集群复制到目标集群，会复制源集群上新建或者变更过的文件，目标集群上的文件变更不会被识别，可以同时有多个不同的复制设定，每个集群都可以同时是源和目标，带宽限定是集群全局的而不是针对个别复制的，理想情况下，通过WAN应该可以访问到集群每个节点的IP。每个复制策略都有一个策略名，并且关联一个独一无二的标识，可以选择为每个策略增加描述便于区分SyncIQ有3种策略类型可供选择：Copy（拷贝）：从源集群拷贝数据到目标集群Move（移动）：从源集群拷贝数据到目标集群，然后从源集群删除这些数据，只有在激活MigrationIQ授权后才可选（5.5系统中会移除此选项）Synchronize（同步，最常用的选择）：使目标文件夹与源文件夹同步，源集群上的数据增加、变更和删除都会在目标集群上同步，保持源和目标的同步。策略可以手动运行或者设定定期运行，每个策略都可以指定包含的文件夹列表和排除的文件夹列表，需要输入目标集群的IP地址或者名称（通过DNS解析），可以是目标集群的任一个节点的IP地15/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2址。Targetdirectory（目标目录）设定用来指定在目标集群的哪个文件夹保存同步或迁移的数据，如果路径不存在，则会自动创建；可选验证文件完整性，增加此操作用来确保源集群和目标集群的数据一致性，选择这个选项会使策略完成的时间加长可以选择多种日志级别：Error（错误），Notice（提示），NetworkActivity（网络活跃情况），FileActivity（文件活跃情况）。可以增加一或多个“AND/OR”即“和/或”表达式来精确控制要移动或者同步的内容可以按照以下标准指定要复制文件：Ageoffile（文件的年龄）Accessedageoffile（上次访问到现在的时间）Modifiedageoffile（上次修改到现在的时间）Createtimeoffile（文件创建的实际）Filename（文件名）Filepath（文件路径）Filesize（文件大小）FileType（文件类型）可以在SyncIQ策略开始复制数据前，在目标集群创建快照，可以指定节点上参与复制的worker数，可以用来减少复制和同步造成的集群负载Recursedepth（递归的深度）决定了节点上的参与复制的工作进程数目，可以具体制定递归深度（默认值是无限）1.2.5InsightIQ介绍InsightIQ是一个基于UbuntuServer的虚拟机系统，它可以运行在VMwareESX/ESXi和XEN之上；InsightIQ提供了文件系统分析功能，监控访问模式、文件保存年限、数据使用、CPU和网络利用率以及其他因素，让管理员优化他们的环境。InsightIQ可以配合SmartPools是用来改善数据保存和存储分层。InsightIQ将被作为一款虚拟设备交付给用户，并运行在VMware环境中。需要单独的License支持。1.3Isilon集群存储硬件环境16/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2内联交换机：Isilon使用InfiniBand交换机做集群节点间的文件数据同步、数据拆分组合等。要求使用Isilon认证的8，24，48和模块化96端口InfiniBand交换机。外部网络交换机：提供客户端访问，要求为GigE或10GigE，如果应用进行大型文件传输，在外部网络使用JumboFrame（巨型帧）可以提高性能，客户端、外部网络交换机和Isilon存储上均需要进行巨帧的设置。Isilon节点：Isilon最新的产品线分为S系列、X系列、NL系列、EX系列和Accelerate备份加速器。IsilonIQ1920x背视图二．实施准备2.1网络环境2.1.1内部网络每节点必须配置至少一个IP地址和子网掩码（内部/私有网络对外部网是不可见的）；如果希望配置内部冗余网络，则每节点需要两个或者更多IP地址用于冗余（不能与非冗余地址在一个子网内）；如果配置故障切换，则还需要一个FailoverIP子网。2.1.2外部网络每节点必须配置至少一个IP地址和子网掩码(除非使用NANON—NANON即NotAllNodesOnNetwork，非所有节点入网)；如果配置NFSFailover，则需要配置第二个外部网口IP地址（不能与17/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2第一个网口在同一个子网）和一个NFSFailoverIP地址；如果配置SmartConnect则需要的额外ServiceIP地址统一对外访问（与第一个网卡在同一子网）；另外还需要配置DNS服务器、DNS域、默认网关。2.2IP地址、主机名、密码规划Isilon集群配置清单Root密码passwordAdmin密码password集群名称ccb-isilon字符集UTF-8内部网络内部网卡int-a子网掩码255.255.255.0内部网卡int-aIP范围192.168.0.1-192.168.0.254内部网卡int-b子网掩码255.255.255.0内部网卡int-bIP范围192.168.1.1-192.168.1.254内部failover网络子网掩码netmask255.255.255.0内部failover网络IP范围LowIPaddress192.168.2.1HighIPaddress192.168.2.254外部网络外部网卡ext-1netmask255.255.255.0外部ext-1IP范围LowIPaddress192.168.5.100HighIPaddress192.168.5.150其他SmartConnect域名service.ccbisilon.comSmartConnectIP192.168.5.1网关192.168.5.254DNS192.168.5.253DNS搜索域ccbisilon.com时区PacificTimeZone集群加入模式Manual2.2DNS准备配置IsilonSmartConnect时，需要DNS的NS记录解析SmartConnect的zonename。Linux下安装DNS需要安装：bind,bind-chrootenv,bind-devel,bind-docbind-libs,bind-utils,caching-nameserver查看DNS所需安装包是否已安装：18/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2#rpm-qa|grepbind如果未安装则配置YUM进行安装（YUM配置不赘述）#yuminstall-ybind*#yuminstall-ycaching-nameserver*进入DNSChroot目录编辑配置文件(以往DNS配置文件直接存在/etc下，Chroot是一种提供更安全的DNS机制)#cd/var/named/chroot/修改DNS主配置文件#vietc/named.caching-nameserver.conflisten-onport53{any;};allow-query{any;};allow-query-cache{any;};viewall{match-clients{any;};match-destinations{any;};recursionyes;include"/etc/named.rfc1912.zones";};添加zone：#vietc/named.rfc1912.zoneszone"ccbisilon.com"IN{typemaster;file"ccbisilon.com.zone";};编辑zone文件,添加SmartConnectserviceip解析：#vivar/named/ccbisilon.com.zone$TTL86400@INSOA@root(;2011090201;3H;15M;1W;1D);19/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2INNSdns.ccbisilon.com.dnsINA192.168.5.253service.ccbisilon.com.INNSstorage.ccbisilon.com.storage.ccbisilon.com.INA192.168.5.1其中service.ccbisilon.com是在Isilon中配置的zonename。重启DNS服务：#/etc/init.d/namedrestart所以需要解析的DNS客户端配置如下：#vi/etc/resolv.confsearchccbisilon.comnameserver192.168.5.253解析测试：#nslookupdns.ccbisilon.com测试没有问题后让bind服务开机自启动#chkconfignamedon#chkconfig--listnamednamed0:off1:off2:off3:on4:off5:on6:off2.3LDAP准备2.4AD准备运行dcpromo20/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2使用高级模式安装下一步点击下一步21/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2选择“在新林中新建域”22/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2输入根级域输入NetBIOS名23/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2林功能级别24/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2与功能级别DNS服务器25/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2点击是继续保持默认下一步26/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2设置administrator密码27/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2查看摘要设置下一步完成后重启28/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2三．Isilon实施过程3.1连接拓扑与开机加电29/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Isilon内部网络冗余拓扑Isilon加电需要双路电源和两块电池，如果任意节点上的电池出现故障，该节点将进入只读模式；Isilon加电后，按前面板的电源按钮方可启动Isilon节点。【注意】在某些情况下，新Isilon节点电池可能会因电量不足造成无法写入集群配置信息，从而节点无法加入集群，这时需要等待电池电量充满后才可加入。3.2创建、加入Isilon集群3.2.1创建第一个节点使用串口登陆集群中第一节点，串口连接设置为Transferrate=115200，Databits=8，Parity=none，Stopbits=1，Flowcontrol=hardware；选择[1]创建一个新集群：Pleaseselectanoption.Nodebuild:IsilonOneFSv6.5.2.85B_6_5_2_85(RELEASE)Nodeserialnumber:SX200‐301118‐0179Selectanoption:[1]Createanewcluster[2]Joinanexistingcluster[3]ExitwizardandconfiguremanuallyWizard>>>1输入root密码和admin密码：30/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Pleasechangetherootpasswordfromthedefault.Pleaseenternewpasswordforroot:********Pleasere‐enterpasswordforroot:********Passwordchanged.Pleasechangetheadminpasswordfromthedefault.Pleaseenternewpasswordforadmin:********Pleasere‐enterpasswordforadmin:********Passwordchanged.输入support信息：WouldyouliketoenableSupportIQ?[yes]Pleaseentercompanyname:isilonPleaseentercontactname:yerikPleaseentercontactphone:12345678901Pleaseentercontactemail:yerik.gao@isilon.com输入集群名：Enteranewnameforthecluster:Configurename>>>ccb‐isilon!!WARNING:Limitclusternameto11charactersorlesswhenthe!!NetBIOSNameServiceisenabledtoavoidnametruncation.Isilon!!usesupto4charactersforindividualnodenames.Clusternamesettoccb‐isilon输入字符集：Clusterencoding:[1]Windows‐SJIS[2]Windows‐949[3]Windows‐1252[4]EUC‐KR[5]EUC‐JP[6]EUC‐JP‐MS[7]UTF‐8‐MAC[8]UTF‐8[9]ISO‐8859‐1(Latin‐1)[10]ISO‐8859‐2(Latin‐2)[11]ISO‐8859‐3(Latin‐3)[12]ISO‐8859‐4(Latin‐4)[13]ISO‐8859‐5(Cyrillic)[14]ISO‐8859‐6(Arabic)31/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2[15]ISO‐8859‐7(Greek)[16]ISO‐8859‐8(Hebrew)[17]ISO‐8859‐9(Latin‐5)[18]ISO‐8859‐10(Latin‐6)[19]ISO‐8859‐13(Latin‐7)[20]ISO‐8859‐14(Latin‐8)[21]ISO‐8859‐15(Latin‐9)[22]ISO‐8859‐16(Latin‐10)[Enter]Usecurrentencoding:utf‐8Configureencoding>>>8Encodingsettoutf‐8配置内部网卡A：Configureinterfaceint‐a:[1]Configurenetmask[2]Configureint‐aIPranges[Enter]Keepthecurrentconfiguration:Netmask:(notset)IPranges:(notset)Configureinterfaceint‐a>>>1EnteranewnetmaskConfigureint‐anetmask>>>255.255.255.0Configureinterfaceint‐a:[1]Configurenetmask[2]Configureint‐aIPranges[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:(notset)Configureinterfaceint‐a>>>2Configureint‐aIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:(notset)Configureint‐aIPranges>>>1EnterthelowIPaddressoftherangetoadd:LowIPaddress(add)>>>192.168.0.1EnterthehighIPaddressoftherange:HighIPaddress(add)>>>192.168.0.25432/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Configureint‐aIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:192.168.0.1‐192.168.0.254Configureint‐aIPranges>>>[Enter]Configureinterfaceint‐a:[1]Configurenetmask[2]Configureint‐aIPranges[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:192.168.0.1‐192.168.0.254Configureinterfaceint‐a>>>[Enter]配置内部网卡B：Selecttheinternalinterfacestoconfigure[1]int‐a ‐ primaryinternalinterface[2]int‐b ‐ secondaryinternalinterface(failover)[Enter]ExitconfiguringinternalinterfacesConfigureinternalinterfaces>>>2Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]***Enable***interface[Enter]Keepthecurrentconfiguration:Netmask:(notset)IPranges:(notset)FailoverIPranges:(notset)Configureinterfaceint‐b(failover)>>>1TypeanewnetmaskConfigureint‐bnetmask>>>255.255.255.0Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]***Enable***interface[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.033/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2IPranges:(notset)FailoverIPranges:(notset)Configureinterfaceint‐b(failover)>>>2Configureint‐bIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:(notset)Configureint‐bIPranges>>>1EnterthelowIPaddressoftherangetoadd:LowIPaddress(add)>>>192.168.1.1EnterthehighIPaddressoftherange:HighIPaddress(add)>>>192.168.1.254Configureint‐bIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:192.168.1.1‐192.168.1.254Configureint‐bIPranges>>>[Enter]Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]***Enable***interface[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:192.168.1.1‐192.168.1.254FailoverIPranges:(notset)Configureinterfaceint‐b(failover)>>>3ConfigurefailoverIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:FailoverIPranges:(notset)ConfigurefailoverIPranges>>>1EnterthelowIPaddressoftherangetoadd:LowIPaddress(add)>>>192.168.2.134/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2EnterthehighIPaddressoftherange:HighIPaddress(add)>>>192.168.2.254ConfigurefailoverIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:FailoverIPranges:192.168.2.1‐192.168.2.254ConfigurefailoverIPranges>>>[Enter]Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]***Enable***interface[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:192.168.1.1‐192.168.1.254FailoverIPranges:192.168.2.1‐192.168.2.254Configureinterfaceint‐b(failover)>>>4Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]Disableinterface[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:192.168.1.1‐192.168.1.254FailoverIPranges:192.168.2.1‐192.168.2.254Configureinterfaceint‐b(failover)>>>4Configureinterfaceint‐b(failover):[1]Configurenetmask[2]Configureint‐bIPranges[3]ConfigurefailoverIPranges[4]***Enable***interface[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0IPranges:192.168.1.1‐192.168.1.254FailoverIPranges:192.168.2.1‐192.168.2.254Configureinterfaceint‐b(failover)>>>[Enter]35/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Selecttheinternalinterfacestoconfigure[1]int‐a ‐ primaryinternalinterface[2]int‐b ‐ secondaryinternalinterface(failover)[Enter]ExitconfiguringinternalinterfacesConfigureinternalinterfaces>>>[Enter]配置外部网卡1（初始配置只可配置一块网卡，集群创建后可在Web控制台进行高级配置）：Configureexternalsubnet[1]ext‐1 ‐ Externalinterface[Enter]Exitconfiguringexternalnetwork.Configureexternalsubnet>>>1Configureinterfaceext‐1:[1]Configurenetmask[2]ConfigureMTU[3]Configureext‐1IPranges[Enter]Keepthecurrentconfiguration:Netmask:(notset)MTU:1500IPranges:(notset)Configureinterfaceext‐1>>>1EnteranewnetmaskConfigureext‐1netmask>>>255.255.255.0Configureinterfaceext‐1:[1]Configurenetmask[2]ConfigureMTU[3]Configureext‐1IPranges[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0MTU:1500IPranges:(notset)Configureinterfaceext‐1>>>3ConfigureexternalIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:(notset)Configureext‐1IPranges>>>1EnterthelowIPaddressoftherangetoadd:LowIPaddress(add)>>>192.168.5.10036/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2EnterthehighIPaddressoftherange:HighIPaddress(add)>>>192.168.5.150ConfigureexternalIPranges[1]AddanIPrange[2]DeleteanIPrange[Enter]KeepthecurrentIPranges:IPranges:192.168.5.100‐192.168.5.150Configureext‐1IPranges>>>[Enter]Configureinterfaceext‐1:[1]Configurenetmask[2]ConfigureMTU[3]Configureext‐1IPranges[Enter]Keepthecurrentconfiguration:Netmask:255.255.255.0MTU:1500IPranges:192.168.5.100‐192.168.5.150Configureinterfaceext‐1>>>[Enter]Enterdefaultgateway:Configuredefaultgateway>>>192.168.5.254配置SmartConnect：ConfigureSmartConnectsettings[1]SmartConnectzonename[2]SmartConnectserviceIP[Enter]KeepthecurrentSmartConnectsettings:SmartConnectzonename:(notset)SmartConnectserviceIP:(notset)ConfigureSmartConnectsettings>>>1EnterSmartConnectzonenameSmartConnectzonename>>>service.ccbisilon.comConfigureSmartConnectsettings[1]SmartConnectzonename[2]SmartConnectserviceIP[Enter]KeepthecurrentSmartConnectsettings:SmartConnectzonename:service.ccbisilon.comSmartConnectserviceIP:(notset)ConfigureSmartConnectsettings>>>237/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2EnterSmartConnectserviceIPSmartConnectserviceIP>>>192.168.5.1ConfigureSmartConnectsettings[1]SmartConnectzonename[2]SmartConnectserviceIP[Enter]KeepthecurrentSmartConnectsettings:SmartConnectzonename:service.ccbisilon.comSmartConnectserviceIP:192.168.5.1ConfigureSmartConnectsettings>>>[Enter]配置DNS服务器：ConfigureDNSsettings[1]DNSservers[2]Searchdomains[Enter]KeepcurrentDNSsettings:DNSservers:(notset)Searchdomains:(notset)ConfigureDNSsettings>>>1Enteracomma‐separatedlistofDNSservers:ConfigureDNS>>>192.168.5.253ConfigureDNSsettings[1]DNSservers[2]Searchdomains[Enter]KeepcurrentDNSsettings:DNSservers:192.168.5.253Searchdomains:(notset)ConfigureDNSsettings>>>2Enteracomma‐separatedlistofsearchdomains:Searchdomains>>>ccbisilon.comConfigureDNSsettings[1]DNSservers[2]Searchdomains[Enter]KeepcurrentDNSsettings:DNSservers:192.168.5.253Searchdomains:ccbisilon.comConfigureDNSsettings>>>[Enter]38/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2配置时区、时间：Configureclusterdateandtime[1]Configuretimezone[2]Configuredayandtime[Enter]Keepthecurrentdateandtime:2011/06/3011:11:16UTC.Configuredate>>>1Configureclustertimezone[1]GreenwichMeanTime[2]EasternTimeZone[3]CentralTimeZone[4]MountainTimeZone[5]PacificTimeZone[6]Arizona[7]Alaska[8]Hawaii[9]Japan[10]Advanced[Enter]Keepcurrenttimezone:GreenwichMeanTimeConfiguretimezone>>>5PacificTimeZoneConfigureclusterdateandtime[1]Configuretimezone[2]Configuredayandtime[Enter]Keepthecurrentdateandtime:2011/06/3004:11:30PDT.Configuredate>>>2Typenewdateandtimevaluesorpress[Enter]tokeepthecurrentdateandtime:2011/06/3004:11:56PDT.Configuretime>>>2011/06/3019:12:00PDTWrongformat:type"help"toseethecorrectformat.Typenewdateandtimevaluesorpress[Enter]tokeepthecurrentdateandtime:2011/06/3004:12:19PDT.Configuretime>>>helpConfiguresthecluster"sdateandtimessettings,usingthefollowingvalues:‐ yyyy/mm/ddhh:mm:ss‐ yearsetting,usingafour‐digitvalue‐ monthanddaysettings,usingvalues(1‐12and1‐31,respectively)‐ hoursetting,using24‐hourvalue(0‐23)‐ minuteandsecondsettings,usingvalues(0‐59)Otheravailablecommands:back,help,manual,andquit.39/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Typenewdateandtimevaluesorpress[Enter]tokeepthecurrentdateandtime:2011/06/3004:12:25PDT.Configuretime>>>2011/06/3019:12:00Configureclusterdateandtime[1]Configuretimezone[2]Configuredayandtime[Enter]Keepthecurrentdateandtime:2011/06/3019:12:00PDT.Configuredate>>>配置集群加入模式：Configureclusterjoinmode[1]Manual[2]Secure[Enter]Keepthecurrentjoinmode:ManualConfigurejoinmode>>>[Enter]JoinmodesettoManual.配置清单：Youhavemadethefollowingconfigurationchanges:Clustername:(notset) ‐>ccbisilonEncoding:(notset) ‐>utf‐8int‐anetmask:(notset) ‐>255.255.255.0int‐aIPranges:(notset) ‐>{192.168.0.1‐192.168.0.254}int‐bnetmask:(notset) ‐>255.255.255.0int‐bIPranges:(notset) ‐>{192.168.1.1‐192.168.1.254}lpbknetmask:(notset) ‐>255.255.255.0lpbkIPranges:(notset) ‐>{192.168.2.1‐192.168.2.254}Externalnetmask:(notset) ‐>255.255.255.0ExternalIPrange:(notset) ‐>{192.168.5.100‐192.168.5.150}Externalgateway:(notset) ‐>192.168.5.254DNSservers:(notset) ‐>{192.168.5.253}Searchdomains:(notset) ‐>{ccbisilon.com}Timezone:GreenwichMeanTime ‐>PacificTimeZoneCurrentdate/time:2011/06/3011:13:06GMT ‐>2011/06/3019:12:19PDTDoyouwishtocommitthesechanges?[yes]Commitchanges?>>>yes自动重启：Pre‐IFSdaemons:isi_watchdog_disi_hangdumpisi_eth_mixer_disi_flexnet_d.MountingNFSfilesystems:.Initialamd64initialization:.40/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2AdditionalABIsupport:.Clearing/tmp(Xrelated).isi_drive_dsuccessfullystartednfsd_mntinit()setthedispatchtableStartingxinetd.Startinglocaldaemons:.Updatingmotd.Configuringsyscons:.Startingcron.machdep.isilon_hw_monitor:1046271 ‐>1046271startsshdviaisi_runforAV_COMPLYprocessflagCheckingIsilonSASPHYHardware:goodDongleserialnumber:SX200‐301118‐0177Donglesystemconfiguration:400‐0034‐01Configuringconsoleportbaudrate...115200isi_sasphymonsuccessfullystartedLoggingto/var/log/isi_rpc_dRunningisifirmwarestatus ‐‐saveMountingIFSfilesystem...‐‐>/dev/da12s1e‐‐>/dev/da11s1e‐‐>/dev/da10s1e‐‐>/dev/da9s1e‐‐>/dev/da8s1e‐‐>/dev/da7s1e‐‐>/dev/da6s1e‐‐>/dev/da5s1e‐‐>/dev/da4s1e‐‐>/dev/da3s1e‐‐>/dev/da2s1e‐‐>/dev/da1s1emachdep.isilon_hw_monitor:1046271 ‐>1046271Configuringconsoleportbaudrate...115200FinalIFSdaemons:isi_mcpThuJun3019:13:29PDT2011IsilonOneFS/amd64(ccbisilon‐1)(ttyd0)login:rootPassword:******Copyright(c)2001‐2011IsilonSystemsLLC.Allrightsreserved.Copyright(c)1992‐2011TheFreeBSDProject.Copyright(c)1979,1980,1983,1986,1988,1989,1991,1992,1993,1994TheRegentsoftheUniversityofCalifornia.Allrightsreserved.Copyright(c)2001‐2011IsilonSystemsLLC.Allrightsreserved.Isilonand41/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2IsilonSystemsareregisteredtrademarksofIsilonSystemsLLC.IsilonOneFSv6.5.2.853.2.2加入新Isilon节点可以通过串口线连接新结点加入现有集群，也可以使用Webadministration登录集群中任何一节点将新结点加入集群，只要节点能够通过Infiniband与集群通信，集群就可以识别新结点；下面将使用串口扩充集群。Pleaseselectanoption.Nodebuild:IsilonOneFSv6.5.2.85B_6_5_2_85(RELEASE)Nodeserialnumber:SX200‐301118‐0179Selectanoption:[1]Createanewcluster[2]Joinanexistingcluster[3]ExitwizardandconfiguremanuallyWizard>>>2SelecttheclusteryouwanttojoinIndexNameVersionStatus‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐  1ccbisilonB_6_5_2_85Ravailable[Enter]RefreshthelistJoincluster>>>1Joiningcluster:"ccbisilon"Joiningstatus:BeginningjointoclusterccbisilonJoiningstatus:CheckingversioncompatibilitywithclusterccbisilonJoiningstatus:Joinedclusterccbisilonasdevid2Pre‐IFSdaemons:isi_watchdog_disi_hangdumpisi_eth_mixer_disi_flexnet_d.MountingNFSfilesystems:.Initialamd64initialization:.AdditionalABIsupport:.Clearing/tmp(Xrelated).isi_drive_dsuccessfullystartednfsd_mntinit()setthedispatchtableStartingxinetd.Startinglocaldaemons:.Updatingmotd.Configuringsyscons:.Startingcron.machdep.isilon_hw_monitor:1046271 ‐>1046271startsshdviaisi_runforAV_COMPLYprocessflagCheckingIsilonSASPHYHardware:good42/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Dongleserialnumber:SX200‐301118‐0179Donglesystemconfiguration:400‐0034‐01Configuringconsoleportbaudrate...115200isi_sasphymonsuccessfullystartedLoggingto/var/log/isi_rpc_dRunningisifirmwarestatus ‐‐saveMountingIFSfilesystem...‐‐>/dev/da12s1e‐‐>/dev/da11s1e‐‐>/dev/da10s1e‐‐>/dev/da9s1e‐‐>/dev/da8s1e‐‐>/dev/da7s1e‐‐>/dev/da6s1e‐‐>/dev/da5s1e‐‐>/dev/da4s1e‐‐>/dev/da3s1e‐‐>/dev/da2s1e‐‐>/dev/da1s1emachdep.isilon_hw_monitor:1046271 ‐>1046271Configuringconsoleportbaudrate...115200FinalIFSdaemons:isi_mcpThuJun3019:17:06PDT2011IsilonOneFS/amd64(ccbisilon‐2)(ttyd0)login:rootPassword:******Copyright(c)2001‐2011IsilonSystemsLLC.Allrightsreserved.Copyright(c)1992‐2011TheFreeBSDProject.Copyright(c)1979,1980,1983,1986,1988,1989,1991,1992,1993,1994TheRegentsoftheUniversityofCalifornia.Allrightsreserved.Copyright(c)2001‐2011IsilonSystemsLLC.Allrightsreserved.IsilonandIsilonSystemsareregisteredtrademarksofIsilonSystemsLLC.IsilonOneFSv6.5.2.85加入节点可能遇到如下错误：Pleaseselectanoption.Nodebuild:IsilonOneFSv6.5.3.32B_6_5_3_32(RELEASE)Nodeserialnumber:SX200‐301118‐0171Selectanoption:[1]Createanewcluster43/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2[2]Joinanexistingcluster[3]ExitwizardandconfiguremanuallyWizard>>>2SelecttheclusteryouwanttojoinIndexNameVersionStatus‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐‐ ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐  1ccb‐isilonB_6_5_3_32Ravailable[Enter]RefreshthelistJoincluster>>>1Joiningcluster:"ccb‐isilon"Joiningstatus:Beginningjointoclusterccb‐isilonJoiningstatus:Checkingversioncompatibilitywithclusterccb‐isilon!!Error:Errordoingverifiednodejointoclusterccb‐isilon!!(retried4times):Failedtograbpatch/updatelock:Thefile!!systemdoesnothavequorumEnter"yes"orpress[Enter]tore‐configurethenode.>>>Joiningstatus:Gotinput"confirm"WelcometotheIsilonIQconfigurationwizard.Copyright(c)2001‐2011IsilonSystemsLLC.Allrightsreserved.Enter"help"atanypromptforadditionalinformationonthatstep.Enter"back"atanyprompttoreturntopreviousstep.Enter"quit"atanyprompttodiscardallchanges.Enter"manual"atanyprompttoswitchtomanualmode(console).Nodebuild:IsilonOneFSv6.5.3.32B_6_5_3_32(RELEASE)Nodeserialnumber:SX200‐301118‐0171进入第一个节点查看集群状态，集群处于Read-Only模式，ccb‐isilon‐1#isistatusClusterName:ccb‐isilonClusterHealth:[ATTN]ClusterStorage:HDDSSDSize:5.0T(5.0TRaw)184GVHSSize:0Used:19M(<1%)416K(<1%)Avail:5.0T(>99%)184G(>99%)HealthThroughput(bps)HDDStorageSSDStorageID|IPAddress|DASR|InOutTotal|Used/Size|Used/Size‐‐‐+‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐+‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐+‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ 1|192.168.5.100|‐A‐R|0|336|336|19M/5.0T(<1%)|416K/184G(<1%)44/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐+‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐+‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ ClusterTotals:|0|336|336|19M/5.0T(<1%)|416K/184G(<1%)HealthFields:D=Down,A=Attention,S=Smartfailed,R=Read‐OnlyCriticalEvents:ClusterJobStatus:isi_job_disnotrunning.Norunningjobs.Nopausedorwaitingjobs.Nofailedjobs.此时等待节点电池充满后，再次尝试将新节点加入集群；以后集群扩充节点过程同上。命令行运行isi_ovt_check，集群会运行一系列诊断检测并生成报告，根据节点数和OneFS版本，OVT需要30分钟到2个小时运行完成，无论结果如何，应将OVT日志提供给Isilon。#isi_ovt_check#isi_ovt_check–maillast如果isilon集群没有连接internet,手动将ovt日志打包发送至isi-burning@isilon.com#tar–cvf.tar/ifs/.ifsvar/ovt如果isi_ovt_check命令运行失败,则将/var/crash的日志打包发送#tar-cvf.tar/var/crash/ovt*在浏览器输入SmartConnectIP或IPpool中的任意IP即可登陆IsilonAdministration：Isilonadministration管理界面45/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2大多数的Isilon配置都可通过Isilonadministration来完成。3.3配置共享3.3.1配置SMB共享<1>创建一个用户点击Filesharing>AuthenticationSources>LocalUsers>Adduser创建用户注意：创建用户时并不会自动创建用户的home目录。<2>创建目录点击FileSystem>FileSystemExplorer>AddDirectory添加目录46/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2新目录属性<3>设置SMB共享的Securitymode为用户验证模式SMB验证模式<4>添加共享并设置用户权限点击FileSharing>Addshare来添加共享47/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2SMB共享目录属性授权给yerik用户全部权限；<5>使用Windows客户端挂载SMB共享目录打开我的电脑，点击映射网络驱动器：48/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2映射网络驱动器1输入SMB共享名：映射网络驱动器2打开我的电脑49/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2查看SMB共享3.3.2配置NFS共享<1>查看共享目录的属性共享目录属性50/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2<2>添加共享添加共享Clients中输入允许访问的客户端（网段、IP地址段、单独IP地址、主机名均支持，默认留空为允许所有客户端访问）；其中Enablemountaccesstosubdirectories选项是允许直接挂载共享目录的子目录；例如有一个/ifs/data/yerikdir目录，及其子目录/ifs/data/yerikdir/movies，使用NFS共享出/ifs/data/yerikdir并勾选该选项，则客户端可以直接使用mountisilonip:/ifs/data/yerikdir/movies/mnt这种形式挂载（虽然该子目录不在exports列表中）。<3>访问控制设置访问控制将所有NFS客户端用户Map至Isilon的yerik用户和IsilonUsers组；Credentialmapping是指哪些用户应该被mapped，Username是指应该被map到Isilon的哪个本地用户，Groupmembership是指将用户map至哪个用户组。<4>NFSSettings51/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2NFS服务设置GeneralSettings是指NFSLock在节点失败时可能会丢失，指定一个保护级别使得在该节点数故障的情况下NFSLock仍然是可用的。<5>Linux客户端挂载在Linux客户端可以看到由于本地没有yerik:IsilonUsers,所以显示的是UID:GID；<6>Isilon端使用ssh登录Isilon查看文件权限，发现用户组是正常的，因为Isilon上存在yerik:IsilonUsers；3.3.3配置iSCSI共享52/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2点击FileSystems>iSCSI>AddTarget添加Target选择Pool点击AddLUN链接添加LUN：53/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2添加10GB的LUNTarget是指将该LUN绑定至哪一个target；Provisioning指定是预先分配空间还是使用Thin模式（按需分配）分配空间；根据需要设置其他优化选项：其他LUN选项54/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2在Windows端使用iSCSI发起程序连接：连接目标155/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2连接目标2打开磁盘管理，发现新添加的LUN（黑色分区）已经引入，只需格式化即可正常使用：56/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2磁盘管理3.3.4加入AD3.3.5加入LDAP57/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.258/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.23.4配置SMART特性3.4.1配置AdvancedSmartConnect<1>点击Cluster>>>Networking，查看ExternalNetworkSettings：59/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2<2>点击subnet0链接：60/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2subnet0初始配置<3>编辑Pool0的SmartConnectsetting61/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2配置SmartConnectZonename:SmartConnect域名；IPallocationmethod：IP分配策略，有Static和Synamic，配置NFSFailover特性需要将该选项设置为Dynamic；IPFailoverpolicy：ip故障转移的策略，包括RoundRobin、ConnectionCount、NetworkThroughput、CPUUsage；<4>配置Poolmembers62/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2添加Poolmembers点击Poolmembers添加节点网卡，初始配置只能配置ext-1网卡，将ext-2网卡加入，同样可以配置万兆网卡、做链路聚合等操作；如果要配置链路聚合则有以下几种聚合模式：63/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2配置LA<5>配置SmartConnectAdvance后，IP地址均匀分布在各个外部网卡上；64/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2subnet0配置完成若一段时间后，客户端连接在性能或者数量上可能变得不均衡，管理员可以使用该命令重新均衡客户端连接：isinetworks--sc-rebalance-all测试SmartConnect有两种方法，一种将客户端的DNS指向IsilonServiceIP，让Isilon解析，另一种方法是将客户端DNS指向DNS服务器，DNS服务器将请求转发给Isilon进行解析。65/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2测试SmartConnect使用nslookup命令测试，发现每次返回的IP是不同的，说明SmartConnect配置成功（上图为后期补充）；3.4.2配置SyncIQ<1>添加SyncIQPolicy点击FileSystemSyncIQ>Policies>AddPolicy66/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2SyncIQ基本设置Action两种方式：Copy是从源到目的集群的拷贝，如果源集群上某个文件修改、删除并不会影响到目标集群；Synchronize是同步，如果源集群上某个文件修改、删除会影响到目标集群目录，源目的集群目录始终保持一致；Runjob：指定SyncIQ运行方式，手动或者计划执行。<2>添加SourceCluster的目录，设置同步目录、排除的目录及文件的筛选条件等等源ClusterIncludedirectories：包含的目录；Excludedirectories：排除的目录；Filecriteria：文件标准，可以同步复制指定的文件类型、文件大小等；<3>设置TargetCluster端，并设置Targetdirectory目标集群的目录（目标集群目录如果不存在则会自动创建）67/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2目标Cluster<4>设置是否在TargetCluster创建Snapshot及Snapshot的属性等是否创建Snapshot<5>高级设置（每个节点运行的worker数、Log级别、检查完整性等）高级设置<6>配置性能要通过网络传输优化性能：点击SyncIQ>Performance>NetworkRules>>Addrule网络限制68/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2要通过文件传输量优化性能：点击SyncIQ>Performance>FileOperationRules>>Addrule文件传输率限制注意：SyncIQ需要两端集群均激活SyncIQLicense。3.4.3配置SmartQuota<1>点击FileSystem>SmartQuotas>AddQuota选择quota类型“EnforcementQuota”69/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Quota类型<2>设置Hardthreshold（硬阀值）为100GQuota大小及高级设置Showavailablespaceas：sizeofhardthreshold是在客户端显示限制的大小，Sizeofcluster是在客户端显示整个集群的大小。推荐选择sizeofhardthreshold。<3>使用Windows客户端登录查看Windows客户端查看<4>LinuxNFS客户端查看Quota信息挂载NFS查看分区大小70/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.23.4.4配置SnapshotIQ<1>手动生成Snapshot点击Filesystem>SnapshotIQ>TakeSnapshot，输入Snapshot信息（Path，Expiration）Snapshot信息<2>创建ScheduleSnapshot创建Schedule，点击Filesystem>SnapshotIQ>Schedules>Addschedule，输入快照名，快照格式，快照路径：基本信息71/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2点击下一步，根据需求输入Schedule信息：Schedule信息查看计划生成的Snapshot：72/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Snapshotsummary信息3.4.5配置SmartPool点击FileSystems>SmartPools>DiskPools>Manuallyadddiskpool××××××××××××××待完善××××××××××××××3.4.6配置InsightIQ要使用InsightIQ，首先需要在Isilon集群安装InsightIQLicense；InsightIQ是一个运行在VMwareESX/ESXi或XEN服务器上的Ubuntu虚拟机，通过打包虚拟机发行。部署InsightIQ时首先需要保证VMwareESX/ESXi或XEN服务器环境已部署好，然后通过InsightIQ的ova虚拟机模板向导部署。<1>使用vSphereClient登录VMwareESX/ESXi主机（若使用vCenterServer管理则登陆vCenterServer也可以），点击文件>部署OVF模板；73/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2部署OVF模板<2>指定InsightIQ的ova软件包，点击下一步；OVF源<3>向导自动列出OVF的模板信息，点击下一步；74/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2OVF模板信息<4>输入虚拟机名称虚拟机名称<5>选择虚拟机文件存放位置，此处选择存放在NFS存储上，点击下一步；75/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2数据存储<6>选择磁盘格式，“精简置备格式”是按需分配，并不立即占用磁盘空间，而“厚置备格式”将会立即分配磁盘空间；此处选择“精简置备格式”，点击下一步；磁盘格式<7>设置虚拟机的网络映射，就是将虚拟机的网卡映射到哪一个虚拟交换机端口组上，点击下一步；76/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2网络映射<8>查看部署汇总信息，确认无误后点击完成；汇总信息<9>部署完成后使用打开InsightIQ的虚拟机控制台，输入用户名和登陆密码；InsightIQ初始用户名为administrator，密码为default，第一次登陆后需要修改该密码；修改完administrator密码77/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2后再输入sudo密码；更改密码<10>配置网络，该网络是用于登陆InsightIQ管理控制台的IP地址；78/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2配置网关：配置DNS：<10>修改root密码79/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2<11>在浏览器输入InsightIQ的IP地址登陆管理控制台，并接受协议；<12>输入DataStore路径，如果使用NFS存储InsightIQ则输入NFS服务器主机名或IP，默认使用本地存储InsightIQ的数据；DataStore<13>添加一个需要监控的集群集群的用户要使用insightiq用户，先确保Isilon上有该用户；80/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2InsightIQ用户添加集群InsightIQ界面81/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2利用InsightIQ可以对集群进行性能监控、性能分析、创建状态报告等。3.4.7配置SmartLock<1>创建SmartLock目录#mkdir/ifs/data/smartlock<2>在该目录上启用smartlock#isiwormcreate-p/ifs/data/smartlock!!/ifs/data/smartlockisnowaSmartLockrootdirectory.Id:65539<3>设置lock过期时间(两天后)#isiwormmodify-d=2d--path=/ifs/data/smartlock<4>创建文件#touch/ifs/data/smartlock/lockfile提交：#chmod-w/ifs/data/smartlock/lockfile<5>查看smartlock信息#isiworminfo--path=/ifs/data/smartlock/lockfileSmartLockInfofor:/ifs/data/smartlock/lockfileSmartLockRootDirectory------------------------ID|RootPath------+--------------------65539|/ifs/data/smartlockSmartLockState:COMMITTEDExpires:2011-09-1000:58:17#dateThuSep800:59:33PDT2011<6>删除测试#rm-rf/ifs/data/smartlock/lockfilerm:/ifs/data/smartlock/lockfile:Read-onlyfilesystem<7>强制删除#isiwormfiledelete/ifs/data/smartlock/passwd!!Areyousure?Pleaseenter"yes"toconfirm:(yes,[no])>>>yes82/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2四．Isilon维护（CLI）4.1查看集群状态：#isistatus集群节点状态注：ID即集群节点编号（lnn）；Health列显示各个节点的状态（D，A，S，R）警告：各个Job运行状态：83/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2Job状态4.2集群、节点的关闭与重启4.2.1关闭、重启节点关闭节点：shutdown-hnow重启节点：reboot4.2.2关闭、重启集群关闭集群：#isiconfigIsilon>>shutdownall重启集群：#isiconfigIsilon>>rebootall关于更多isiconfig子命令请使用help命令查看84/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.24.3集群硬件配置4.3.1更换硬盘查看硬盘状态#isidevices ‐astatus ‐d更换故障盘并插入新磁盘输入如下命令：#isidevices ‐aadd:输入如下命令进行格式化新盘：#isidevices ‐aformat ‐d:再次查看硬盘状态：#isidevices ‐astatus ‐d如果出现软件磁盘故障,则需要先对硬盘进行smartfail操作,运行成功后,该硬盘状态将变成[REPLACE]状态#isidevices ‐asmartfail ‐d:然后运行#sysctlefs.gmp.groupefs.gmp.group:<6,32274>:{1:0,3‐4,6‐12,15‐16,2:0‐4,6‐12,3:0‐7,9‐12,4:0‐11,5:0‐9,11‐12,6:1‐11}注意:若运行结果出现类似如下soft_failed的硬盘,则不可更换硬盘efs.gmp.group:<6,329>:{1 ‐ 2:0 ‐ 11,3:0 ‐ 5,7 ‐ 11,down:3:6,soft_failed:3:6}等待硬盘Restriper完成后,即可更换硬盘efs.gmp.group:<6,329>:{1 ‐ 2:0 ‐ 11,3:0 ‐ 5,7 ‐ 11,down:3:6}硬盘更换后,硬盘指示灯将恢复正常,但是前面板仍然会出现红灯报警,只需将事件清除即可#isievents#isieventsquiet或isieventsquietall4.3.2添加节点串口登陆未配置的节点上使用向导：85/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.24.3.3移除节点smartfail将数据移至其他节点，smarfail结束后该移除该节点会重新格式化节点并恢复出厂设置，该节点上所有的数据将被毁灭；在要移除的节点上进行smartfail操作#isidevice ‐asmartfail在其他任意一个节点上运行isiconfig命令#isiconfigIsilon>>remove_node#lnn为要移除的节点号Isilon>>commitIsilon>>exit查看集群状态#isistatus4.4其他命令以下命令在生产系统中慎用！！！重新格式化节点：isi_reformat_node摧毁整个集群：#isiconfigIsilon>>remove_nodeall破解Isilon密码<1>面板reboot节点,串口连接节点,当出现/boot/kernel.amd64/****之类提示时,敲击除Enter键外任意键;<2>出现ok提示符时,输入boot ‐s进入单用户模式;86/87 易通东方计算机系统服务有限公司EMCIsilon实施手册【内部文件】Version0.2<3>出现类似如下shell路径时直接回车EnterfullpathnameofshellorRETURNfor/bin/sh:<4>设置TERM环境变量#exportTERM=vt100<5>初始化启动盘#/etc/rc.d/isi_bootdisk_initstart<6>删除master.passwd文件中root第二列两个冒号之间的*#vi/etc/master.passwdroot::0:0::0:0:Root:/root:/usr/local/bin/zsh<7>重启#reboot87/87'