中国电信集采ipran交付技术解决方案l2+l3v

2012中国电信集采IPRAN交付技术解决方案(L2+L3)中国地区部IPRAN项目总体组 修订记录2012-06-06:根据集采交付要求编写初稿顾德访（44909）2012-06-24：细节修改与内容补充顾德访（44909）2012-06-28：细节修改与内容补充顾德访（44909）2012-07-03:细节修改与内容补充顾德访（44909）2012-07-08:增加文档说明、CE组网说明顾德访（44909）2012-07-14：修改P31ospfarea类型，增加可靠行设计、IGPCOST值设计的相关附录说明顾德访（44909） 文档说明本文以《IPTimeMBB承载ATN+CX(MixedVPN非联动)LLD设计指导书(V600R002C00SPC100)》（该指导书的V600R002C01即将发布，本文届时会随之更新）以及《关于印发《中国电信综合业务接入网（IPRAN）实施与维护指引》的通知》相关指导和要求编写，如果省公司有相关规范和指引，请同时考虑。本文所有组网图均为示意图，请在使用时以局点具体组网图进行分析和设计。本文只适用于中国电信。本文不可替代HLD设计指导书和LLD设计指导书，使用时请参阅相关具体文档。本文经过IPRAN总体组以及相关专家多次评审后定稿，使用中若对本文有任何疑义，可直接联系本文作者顾德访（44909）。 中国电信IPRAN网络组网关键技术方案中国电信IPRAN交付技术方案关键交付流程中国电信IPRAN建设交付解决方案目标中国电信IPRAN交付友商对接技术方案目录 电信集团关于IPRAN建网模式和原则综合业务接入网定位于城域内基站回传等自营业务及政企客户业务的高质量接入和承载，依托现有的城域骨干网一平面的无缝衔接，逐步实现广覆盖，并有效与光纤接入网发展相衔接。对于新建基站，应支持以太接口，优先采用综合业务接入网进行承载；对于已有基站，逐步推进IP化改造，在MSTP资源不足的情况下，优先采用综合业务接入网进行承载。为简化综合业务接入网的技术实现方式，方便实现多厂家设备混合组网的网络管理，A类设备原则上只提供L2VPN的接入，三层业务统一在B类设备上进行二层终结。综合业务接入网应具备基站三层网关快速倒换的能力，全网路由收敛速度满足基站及政企业务的承载需求。综合业务接入网以轻载为主，满足可实施的综合业务差异化承载的需要。综合业务接入网应满足目前基站及未来LTE阶段各类移动业务的综合承载需求，满足基站灵活互联、基站多归属及组播通信需求。综合业务接入子网与城域骨干网间实现逻辑及策略的隔离，有效防止互相的干扰与影响，同时接入环间实现路由的隔离，保证综合业务接入网路由层面的安全性。为提高可维护性，综合业务接入网A类设备应具备即插即管理的能力。同时，为实现跨厂商设备间的混合组网，应逐步实现城域网网管系统对综合业务接入网设备以及承载的基站和政企业务的管理。 电信12年IPRAN建网目标－主推组网设备角色定义对应华为方案中角色A综合业务接入网接入层设备：指用于业务接入并且是网络边缘的综合业务接入网（IPRAN）设备UPE/CSGB综合业务接入网汇聚层设备：指用于A类接入设备流量汇聚的综合业务接入网（IPRAN）设备SPE/ASGRANCE用于BSC流量汇聚的CE设备NPE/RSGRNC/S-GW/MMELastMileAccessAggregation/CoreGEGEBSC/RNCS-GW/MMEBTS/NodeBeNodeBBTS/NodeBTDMIMAETHE1FEGEUPESPEPNPE10GEATN9XXCX600X1/X2CX600-X3CX600-X8/16PRC/BITSU2000中国电信标准组网对应UPE/SPE/NPE组网对应CSG/ASG/RSG组网本胶片以此角色称谓为准 中国电信IPRAN网络组网关键技术方案中国电信IPRAN交付技术方案关键交付流程中国电信IPRAN建设交付解决方案目标中国电信IPRAN交付友商对接技术方案目录 中国电信IPRAN网络关键技术解决方案-方案概述CSGASGP(SR/CR)RSGATN950B/950/910CX600-XPWPWPWL3VPNEthernetTDM/ATMLDP/RSVP-TELDP/RSVP-TEOSPF/ISISOSPF/ISIS设备类型封装方式LSP协议IGP协议设备角色组网结构注意事项LLD设计Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性政企BTS/eNodeB政企客户BSC/aGWBTS/eNodeBBTS/eNodeB城域骨干 中国电信IPRAN网络关键技术解决方案-方案概述组网结构注意事项组网模型尽量按照基线的组网模型进行组网，以利于大规模的开局和维护中国电信倾向于在汇聚层利旧现网设备，组网受现网组网模型限制，可灵活掌握与友商设备混合组网要考虑协议的互通性可以根据需要选择树形组网LSP协议的选择中国电信倾向于使用LDPIGP协议的选择中国电信倾向于使用OSPF多区域组网规格若接入层采用环形组网，每个接入环上的CSG（ATN）设备不超过20台，包含环带链的节点。每对ASG(CX600)设备下带的接入环不超过10个（最大不要超过20个），即每对ASG设备可接入200台CSG（最大不超过400台）。树形组网要求汇聚ASG上更多的接口，考虑到ASG之间的互联与RSG的上连，留给接入CSG的端口数远小于400，且此时可靠性会更好，在光纤资源满足时推荐。每对RSG(CX600)设备下带的ASG对数建议不超过10对，最多不能超过20对。每对RSG设备下所带CSG的总数量不超过2K。每个CSG设备可接入6~8个基站，基站间通过宏站带微站集中部署或交换机汇聚的方式组网，网络侧体现为单一接口。LLD设计Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性施工前请参考最新版本LLD设计指导书 中国电信IPRAN网络关键技术解决方案-方案概述组网结构注意事项物理拓扑设计组网图命名设计单板槽位与端口互联各层次使用产品型号和版本资源规划设计IP地址规划VLAN规划BGPAS规划路由部署设计IGP设计BGP设计MPLS设计LLD设计IPRAN网络LLD设计需要涵盖以下内容业务部署设计业务接入设计可靠性设计QoS部署设计带宽设计流分类以及映射设计时钟部署设计同步以太设计1588ACR设计1588v2设计网管管理设计即插即用设计DCN管理方案Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性 中国电信IPRAN网络关键技术解决方案-物理拓扑PW＋L3VPN：承载所有业务，推荐使用。匹配华为L2+L3方案。CE＋L3VPN：A类设备未进行级联且没有电路仿真及综合业务承载可用，不推荐使用。匹配华为NativeIP方案。Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性政企BTS/eNodeB政企客户BSC/aGWBTS/eNodeBBTS/eNodeBBSC/aGWBTS/eNodeBBTS/eNodeBPWE3＋L3VPNCE＋L3VPNABSRCE城域骨干城域骨干物理拓扑硬件规划 中国电信IPRAN网络关键技术解决方案-物理拓扑具体物理拓扑的规划可以使用UniSTAR工具；Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性考虑网管（含工具）适配、流量流向合理性、维护难度等因素，以下组网拓扑不要出现：不能直接接P或者RSGBSC/aGW城域骨干避免跨汇聚环不能一端接ASG一端接RSGCSGCSGCSGASGASGP(SR)RSGRSGASGASGCSGCSGCSGCSGP(SR)P(SR)物理拓扑硬件规划 中国电信IPRAN网络关键技术解决方案-物理拓扑中国电信规范有以下要求“……为防止不同B设备对间的策略影响，不建议B设备对间直接进行互联，应通过城域骨干网的SR间接实现互通。”“B类设备可以根据城域网内的光纤或者传输情况，成对设备“口”字形与一平面的SR就近进行双点互联。……”——见《关于印发<中国电信综合业务接入网（IPRAN）实施与维护指引>的通知》正文第8页经与集团客户交流确认在光纤资源及端口资源满足的前提下，需按照集团规范的“口”字型拓扑，如光纤资源确实无法满足，也可以采用环网。客户主要的考虑是B类设备会挂较多的A类设备，环网带宽压力过大，后续我们在省分做方案时，需要及时向客户传递这个信息。Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性政企BTS/eNodeB政企客户BSC/aGWBTS/eNodeBBTS/eNodeB城域骨干最优选择不推荐非成对组网ASGASGASGASGASGSRSRSRSR物理拓扑硬件规划 中国电信IPRAN网络关键技术解决方案-物理拓扑如果客户利旧RANCE非华为设备，那么U2000无法实现端到端管理和业务部署，可以将RANCE设备视为无线BSC侧的扩展，增加华为路由器作为RSG（即中国电信定位的B设备）。RSG作为L3VPN的PE，RANCE作为CE设备接入；U2000对CSG到RSG之间的网络实现端到端的管理和业务部署。如果客户利旧RANCE为华为设备，则请考虑其软件版本和容量与IPRAN基线方案的匹配。如果中间SR、CR非华为设备，不影响U2000的端到端管理和业务部署。RANCE只承载Ethernet业务，TDM业务由RSG直接与BSC连接承载。Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性政企BTS/eNodeB政企客户BSC/aGWBTS/eNodeBBTS/eNodeB城域骨干ASGASGASGASGSRSRSRSR物理拓扑硬件规划RSGRSGRANCEASGRANCEU2000端到端管理和业务部署CSGCSGCSGCSGCSGCSGCSGEthernet业务TDM业务TDM业务 中国电信IPRAN网络关键技术解决方案-物理拓扑各层次设备选型Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性政企BTS/eNodeB政企客户BSC/aGWBTS/eNodeBBTS/eNodeB城域骨干ASGASGASGASGASGSRSRSRSRCSGCSGCSGGE环ATN910ATN95010GE环ATN950BCX600-X3CX600-X8CX600-X16利旧现网NE40E-XASGSRRSG利旧现网NE40E-XRSGRSG物理拓扑硬件规划 中国电信IPRAN网络关键技术解决方案-硬件规划Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性物理拓扑硬件规划汇聚层4U3Slots14U8SlotsCX600-X8CX600-X16CX600-X332U16Slots接入层ATN9102U8Slots1U4Slots核心、汇聚层可选取NE&CX设备组网；小汇聚机房注意配套800mm深标准机柜，避免CX设备无法安装；环东西两个方向端口分单板建设，两向光路分光缆建设；对接RNC/BSC分单板建设，以太业务使用GE板卡，TDM业务使用CPOS卡(目前电信不交付TDM业务)；每对RSG之间多链路，分单板建设，保证RSG之间冗余性；根据设备间对接关系，配置合适波长、距离的光模块；核心层时钟引入，且配置主备时钟源，分设备引入IPRAN网络，注意发货配置时钟线缆；避免网络中存在不支持时钟的设备（部分NE40E/80E老板卡和NE5000E不支持同步以太）；RANCE低速槽位不超过两个；网管是否配置，license版本是否配套。VRPinside接入层设备可选取ATN950B/950/910组网；环东西两个方向端口分单板建设；须关注槽位的处理能力，合理规划单板所插放的槽位；ATN950B支持10GE端组环，而ATN950/910只支持GE组环；ATN设备如果需要安装在ETSI系列机柜中，需要使用特殊的ETSI转接挂耳。ATN9502U8Slots支持组10GE环VRPinsideATN950B 中国电信IPRAN网络关键技术解决方案-资源规划地址类别网络互联地址：业务接口互联地址设备管理地址：用于业务转发的loopback地址（LSR-ID）网管互联地址：网管自接口互联地址网管管理地址：用于网络管理的loopback地址规划原则集团统一规划地址块，网络与网管分别分配省内地址分配必须唯一，不得复用ASG及以上的业务相关地址使用城域骨干规划和分配的地址同一对ASG下的网管管理地址和网管互联地址要能够聚合可以使用UniSTAR工具自动分配指定地址范围指定掩码长度IP地址规划VLAN规划基站VLAN规划确定“每业务每VLAN”还是“每基站每VLAN”确定在什么范围内VLAN不得重复（一般在同一VE接口下VLAN不重复即可）考虑两种场景基站带VLAN——根据与客户达成的一致灵活规划VLAN（PW使用raw模式），推荐与基站所带VLAN保持一致基站不带VLAN——根据与客户达成的一致灵活规划VLAN（PW使用raw模式）VRRPVLAN规划子接口VLAN规划业务：VLAN31网管：VLAN32对于插花形组网，在ASG互联链路上有可能出现同一物理端口下有多业务子接口的情况，具体使用VLAN号需与客户沟通，建议与其所属IGP进程号关联Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性详见《中国电信综合业务接入网（IPRAN）实施与维护指引》 中国电信IPRAN网络关键技术解决方案-资源规划AS号规划命名规划利旧：与城域网SR在同一个MP-BGP域内新建：AS号规划需单独申请VPN命名3G业务VPN：CDMA-RAN网管VPN：CTVPN193-省份简写基站环境监控：CTVPN194设备、端口命名依据客户的命名规范，可以使用UniSTAR工具协助完成Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性详见《中国电信综合业务接入网（IPRAN）实施与维护指引》RT/RD规划要能够实现VPNFRR要符合集团规范 中国电信IPRAN网络关键技术解决方案-路由部署IGP规划BGP规划汇聚层：一般利旧现网的ISIS协议和进程接入层：同一对ASG的所有接入环使用一个OSPF进程插花（含花瓣）组网可以使用同一个OSPF进程不同环使用不同area，使用totally-stub类型区域，要通过ASG间的子接口保证area内OSPF闭环接入层DCN：与业务IGP原则相同，使用不同进程，使用普通areaASG上配置VRF引入OSPF，所以无area0；接入层ATN上不配置VRF（依据中国电信要求），会存在业务路由和DCN路由共享全局路由表的情况Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性城域骨干area1area2area0area0OSPFXX（进程）ISISXX（进程）城域骨干area1area1area0area0OSPFXX（进程）ISISXX（进程）OSPFYY（进程）area1area1OSPFXX（进程）ISISXX（进程）OSPFYY（进程）BTS/eNodeBBSC/aGW111111001010101010352020101010102010101010011111COST值：防止接入层流量在正常情况下绕行ASG互联链路防止RSG互联端口流量过大且防止by-pass流量绕行汇聚层城域网cost值优先利旧现网，如对IPRAN有影响，则具体问题具体分析确保VPNFRR的LSP路径不重复（LDP方案固有缺陷，不能完全实现） 中国电信IPRAN网络关键技术解决方案-路由部署IGP规划BGP规划规划总原则建议流量都走主RSG，所以主RSG发布的路由优先级较高综合考虑VPNFRR在X2业务跨接入环转发的有效性、插花（含花瓣组网）路由优先级设置的复杂度，在规划ASG向RSG发布路由优先级时，可以按照向主RSG逆时针递增（从较大值开始）、向备RSG顺时针递增（从较小值开始）的规律来规划（适用于各种组网），为了便于以后网络的扩容或者调整，首次规划步长设置为10。（说明：RD相同且目的地址相同的路由，只要优先级不同，BGP选路时会认为是2条不同的路由而交叉进路由表）RSG向ASG发布路由的时候路由优先级的设置规律相同对于插花形（或成花瓣形）组网，在必要情况也可以通过ip-prefix定义不同接入环的路由，从而设定不同路由优先级（不推荐）由于现网部署一般存在BGPRR（路由反射器），所以以下分析只考虑有RR的场景（且只分析从ASG向RSG发布路由情况，反之亦然）Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性 中国电信IPRAN网络关键技术解决方案-路由部署IGP规划BGP规划RSG兼作RR情况分析每台ASG作为RSG的客户端分别与2台RSG建立BGP邻居，不建议在大规模组网中使用同一VPN的RD值设置为相同值，同时要求同一对RR配置的cluster-id相同城域骨干area1area1area0area0OSPFXX（进程）ISISXX（进程）OSPFYY（进程）600270590280580290570300ASG-1ASG-2ASG-3ASG-4RSG-1(RR-1)从RR-1反射的路由优选下一跳为ASG-1从RR-2反射的路由优选下一跳为ASG-2最后在RSG-4上形成了VPNFRR路由RSG-2(RR-2)Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性RSG-3RSG-420015010050 中国电信IPRAN网络关键技术解决方案-路由部署IGP规划BGP规划有独立RR情况分析ASG、RSG分别作为客户端与RR建立BGP邻居，是现实组网较常见的情况，一般利旧现网RR如果2台RR的cluster-id值相同，则要求同一VPN配置的RD值相同即可即可形成VPNFRR路由如果2台RR的cluster-id不相同，则要求同一VPN同一接入环的2台ASG以及2台RSG之间配置的RD值要不同才可以形成VPNFRR路由Cluter-id相同情况下，如果RD配置相同城域骨干area1area1area0area0OSPFXX（进程）ISISXX（进程）OSPFYY（进程）600RR-1300590RR-2580570290280270ASG-1ASG-2ASG-3ASG-4RSG-1RSG-2从RR-1反射的路由优选下一跳为ASG-1从RR-2反射的路由优选下一跳为ASG-2最后在RSG-1上形成了VPNFRR路由，没有问题Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性20015010050 中国电信IPRAN网络关键技术解决方案-路由部署IGP规划BGP规划城域骨干area1area1area0area0OSPFXX（进程）ISISXX（进程）OSPFYY（进程）600RR-1300590RR-2580570290280270ASG-1ASG-2ASG-3ASG-4RSG-1RSG-2从RR-1反射的路由优选下一跳为ASG-1从RR-2反射的路由优选下一跳也为ASG-1最后在RSG-1上无法形成了VPNFRR路由所以要将RD配置不同以防该问题的发生Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性有独立RR情况分析ASG、RSG分别作为客户端与RR建立BGP邻居，是现实组网较常见的情况，一般利旧现网RR如果2台RR的cluster-id值相同，则要求同一VPN配置的RD值相同即可即可形成VPNFRR路由如果2台RR的cluster-id不相同，则要求同一VPN同一接入环的2台ASG以及2台RSG之间配置的RD值要不同才可以形成VPNFRR路由Cluter-id不同情况下，如果RD配置相同20015010050 中国电信IPRAN网络关键技术解决方案-业务部署BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBETH业务PW1PW2TDMTDMPW1LSP1ETH1TDMPW1LSP1ETH2LabelSwapTDMPW2LSP2ETH3LabelSwapTDMPW2LSP2ETH4LabelSwapTDMTDM帧封装个数：8，即装帧时间为1ms抖动缓冲时间：8ms如果涉及多E1承载（例如ML-PPP），则每E1作为一条TDM业务透传分段PW/使能CWQos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性业务规格TDM业务TDM目前不交付 中国电信IPRAN网络关键技术解决方案-业务部署BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBETH业务PWL3VPNPDUPDUPWLSP1ETH1PDUPWLSP1ETH2LabelSwapVRFLSP2ETH3VRFLSP2ETH4LabelSwapPW+L3VPNETH0IPETH0IPETH0IPPDUIPPDUIPPDUETH5IPL2VEL3VE主备ASG的L3VE接口的IP地址、MAC地址要设置一致（建议将第一个子接口网关32bitIP地址映射到MAC地址48bit的低位，高位为0。例如：网关地址是192.168.0.1，则MAC为：0000-C0A8-0001）L3VE口要建在上行单板Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性业务规格TDM业务 中国电信IPRAN网络关键技术解决方案-业务部署ETH业务Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性本页内容在使用前请参考最新版本LLD设计指导书业务规格TDM业务TDM业务（目前不交付）每个CSG（ATN）接入的PW个数不超过5个。每对RSG设备配置的PW总数不超过2K。因为CSGPW双归RSG时，RSG间ICBPW也同样占用资源，故双归时TDM业务每RSG限定承载1K，单归则TDM业务可以承载2K。ETH业务每个CSG（ATN）接入的PW个数不超过10个，按主备PW计算即有5条业务。每对ASG最多带200个CSG，即汇聚节点ETH业务PW数在1000个。 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPW1PW2BFDforPWPWRedundancyE-APS如果E-APS使用1＋1模式，则需要配置AC侧bypassPW，AC侧bypassPW与VC侧bypassPW的ID要交叉设置；PWRedundancy存在“主备模式”、“独立模式”两种，主备模式PW主备不随E-APS主备状态而切换，独立模式PW会随E-APS状态而切换，推荐使用“独立模式”。Bypasstunnel主备模式独立模式（推荐）LSP收敛部署关键与典型故障倒换场景TDM目前不交付附录2 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干E-APSAPS用于SDH端口（例如CPOS口）的冗语保护，与传输专业中所说的LMSP（线性复用段保护）技术相同，通过SDH帧中复用段的开销K1/K2字节来完成倒换协议的交互；APS的倒换要靠SDH层面的告警来触发；E-APS是跨设备的APS保护；E-PAS有1:1和1+1两种方式，1:1是单发单收，1+1是双发选收；所谓双发选收是指报文的发送端在主备2条链路上都发送相同的报文，对端设备根据主备状态确定接收链路；E-APS有单端倒换和双端倒换两种方式，所谓单端倒换是指如果1对光纤中的1根中断，那么该根光纤对应的报文发送方发生流量切换，而另一根正常光纤的报文接收正常；E-APS的1+1模式需要配置AC侧by-passPW，从而实现报文的双发；RSG中间要有2条物理链路捆绑以确保E-APS状态的稳定性；推荐使用“1+1单端非恢复”方式，PW冗余采用“独立模式”。E-APS技术介绍TDM目前不交付单纤故障基站->BSC流量BSC->基站流量VC侧ICBPWAC侧ICBPW正常情况BSC收故障BSC发故障 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPW1PW2BFDforPW（检测周期50ms）PWRedundancyE-APSBypasstunnelABCDE12345678910故障点保护模式保护方案迂回路径（使用LDP隧道/E-APS1:1）APW保护BFDForPW＋PWRedundancy临时：①③⑤⑦⑨⑧⑩－》最终：①③⑤④⑥⑧⑩BPW保护BFDForPW＋PWRedundancy①③⑤⑦⑨⑧⑩CPW保护BFDForPW＋PWRedundancy临时：①③⑤⑦⑨⑧⑩－》最终：①②④⑤⑦⑨⑧⑩DPW保护/网关保护BFDForPW＋PWRedundancy/E-APS①③⑤⑦⑨⑩E网关保护/PW保护E-APS/PWRedundancy主备模式：①②④⑥⑧⑨⑩/独立模式：①③⑤⑦⑨⑩1:1保护效果全景TDM目前不交付 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPW1PW2BFDforPW（50ms*3）PWRedundancyE-APSBypasstunnelABCDE12345678910故障点保护模式保护方案迂回路径（使用LDP隧道/E-APS1＋1/独立模式）APW保护BFDForPW＋PWRedundancy临时：①③⑤⑦⑨⑧⑩－》最终：①③⑤④⑥⑧⑩BPW保护BFDForPW＋PWRedundancy①③⑤⑦⑨⑧⑩CPW保护BFDForPW＋PWRedundancy临时：①③⑤⑦⑨⑧⑩－》最终：①②④⑤⑦⑨⑧⑩DPW保护/网关保护BFDForPW＋PWRedundancy/E-APS①③⑤⑦⑨⑩E网关保护/PW保护E-APS/PWRedundancyRANCE发光故障：上行：①③⑤⑦⑨⑩下行：⑩⑧⑨⑦⑤③①RANCE收光故障：上行：①②④⑥⑧⑩下行：⑩⑨⑧⑥④②①1+1独立模式保护效果全景TDM目前不交付 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPWL3VPNBFDforPW（50ms*3）+PWRedundancyBFDForIGPVRRPBFDForVRRP（10ms*3）BFDForLSP（50ms*3）+VPNFRRBFDForIGPCSG配置PW双收、PW的ARP双发，ASG配置ignore-standbystatePW配置WTR，ASG的BGP配置connect-retry；WTR>connect-retryASG上行两个端口建议采用不同缆推荐totallystubarea闭环以保证LDPLSP可以闭环ARP学习完成VE延时UP，发布BGP路由PWWTR到时切换LDP收敛PWUPBFDForPW—PW倒换PWdown导致VEdown回程流量倒换LDP收敛，PW切回故障发生与恢复过程涉及复杂的流量切换过程；右图以接入层链路故障为例加以说明；ASG节点故障类似，但要考虑BGP邻居延时建立的问题，请自行分析。部署关键与典型故障倒换分析附录2 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干E-VRRP在主备RSG之间部署VRRP，心跳报文由RSG之间二层eth-trunk接口透传；主备RSG之间的eth-trunk口可以二三层混跑，VRRP心跳以及必要的BSC业务经二层转发，公网侧业务由三层自接口转发；BSC的网关位于RSG的vlanif接口上；E-VRRP即在VRRP的基础上在主备RSG之间部署BFD（探测间隔50ms）以快速检测VRRP心跳通道故障；VRRP抢占延时为300秒（叠加VRRP恢复时间后，必须大于BGP延时重连时间）；VRRP组状态恢复延时为60秒（全局配置，防止接口、BFD会话会话频繁震荡）。E-VRRP部署方式心跳报文 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干主备RSG分别与BSC以30位掩码网段对接；主备RSG分别私网VRF内的静态路由，目的地址位BSC的业务地址，下一跳位直连BSC接口的IP地址；静态路由在RSG之间的私网VRF的IGP进程内发布；静态路由和IGP路由都引入到BGPVPNv4中BSC有主备和负载分担模式两种，如果是主备模式，则BSC处于备的端口会处于DOWN状态以确保备RSG的静态路由生效；为了避免RSG与BSC之间的单纤故障，需要将其之间的互联端口设置为自协商模式或者配置配置BFDFor静态路由。路由冗余部署方式VRF内IGP进程备路由主路由 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干RSG和RANCE之间在VPN内部署ISIS多实例，ISIS和BPGVPNv4互引路由；ISIS需要部署“ISIS快收敛”；互联链路推荐以“自协商”模式对接；如果RANCE支持BFDforISIS，则RSG与RANCE之间要部署BFDforISIS；RSG与RANCE之间也可以使用BFDfor静态路由的方式部署；但是实现逻辑和配置都比较复杂，不作为主流推荐。RSG与RANCE对接部署方式RANCERANCERSGRSGISIS多实例 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性PW上行流量黑洞的问题BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBCSGASGRSG主用PW备用PW上行2条链路同时DOWN的情况下，L3VE不会DOWNASG上行端口都DOWN的情况下，由于L3VE接口不会DOWN，所以PWRedundancy没有发生切换，导致流量中断；在部署上行链路的时候，要求2个上行端口不在同一块单板上并要求光纤不同缆以在一定程度上减小该问题发生的概率。MS-PWPW+L3VPN 中国电信IPRAN网络关键技术解决方案-可靠性Qos部署时钟部署网管部署MS-PWPW+L3VPN资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPW1L3VPNABCDE12345678910故障点保护模式保护方案迂回路径（使用LDP）APW保护BFDForPW＋PWRedundancy临时：①③⑤⑦⑥⑧⑩－》最终：①③⑤④⑥⑧⑩BPW保护/隧道保护BFDForPW＋PWRedundancy/VPNFRR①③⑤⑦⑥⑧⑩C隧道保护BFDForLSP+VPNFRR/BFDForIGP①②④⑤⑦⑨⑧⑩D隧道保护/网关保护VPNFRR/E-VRRP①②④⑤⑦⑨⑩E网关保护E-VRRP①②④⑥⑧⑨⑩BFDforPW（50ms*3）+PWRedundancyBFDForIGPVRRPBFDForVRRP（10ms*3）BFDForLSP（50ms*3）+VPNFRRBFDForIGPL2+L3保护效果全景 中国电信IPRAN网络关键技术解决方案-QoS部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBCSGASGRSG流分类优先级映射队列调度流量整形优先级映射队列调度流分类优先级映射队列调度流量整形QoS目标实现报文优先级（DSCP）在基站和BSC之间透传（特别是针对华为基站和BSC）IPRAN网络对不同业务优先级的保证（关键是报文优先级的映射）CSG：如果基站发送报文直接带优先级（802.1P或者DSCP），则可以直接进行优先级的识别和映射，如果没有，可在CSG上做流分类；ASG：只需按照报文优先级进行映射和调度即可RSG：与CSG相同综合考虑客户需求及我司产品实现情况，经与集团客户讨论确认，中国电信使用pipe方式部署QoS 中国电信IPRAN网络关键技术解决方案-时钟部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性意义中国电信3G制式CDMA2000要求频率和时间的同步TDM业务本身需要频率同步频率同步同步以太：频率同步的首选；启用标准SSM协议1588ACR：穿越不支持同步以太的网络，受网络质量影响大，网络规模不宜大，目前受控部署IPClock：使用IP网络传递频率，也受网络质量影响时间同步1588v2：时间同步惟一的选择，由于协议存在缺陷，对存在光纤不对称情况交付困难，目前不推广使用现网基站目前一般是通过直接挂GPS同步时间如果使用1588v2，初始规划时时间和频率跟踪尽量走同路径概述同步以太1588v2 中国电信IPRAN网络关键技术解决方案-时钟部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性概述同步以太1588v2城域骨干BTS/eNodeBBTS/eNodeBBITS-1BITS-2121212121212121213112121121221222规划原则：“从下往上，上不跟下，同级拆分，左上右下；连上级环的链路当作BITS”；如果两台连接BITS中间的链路中断，则会形成伪同步（理论不影响时钟跟踪质量）启用标准SSM协议（可携带时钟质量等级）时钟的选择：时钟质量等级（优先比较）、时钟优先级建议首节点使用2Mbits/s外接BITS同步频率建议部署双时钟源11BTS/eNodeB 中国电信IPRAN网络关键技术解决方案-时钟部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性概述同步以太1588v2所有网元都设置位BC1588v2时间跟踪路径时根据BMC算法自动计算最短路径时间源的选择：优先级类型选择排序priority1（优先级1）>clock-class（质量等级）>clock-accuracy（精度）>priority2（优先级2），一般使用priority1即可，数值越小优先级越高有的基站对clock-class的值有要求，例如华为和诺西基站必须在收到clock-class为6时才会认为时间源可跟踪首节点从外时间口接入基站侧可以根据情况通过外时间口输出，也可以通过1588v2传递城域骨干BTS/eNodeBBTS/eNodeBBITS-1BITS-2BCBCBCBCBCBCBCBCBCBCBCPriority1＝5Priority1＝10BCBCBCBCBC 中国电信IPRAN网络关键技术解决方案-网管部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBCSGASGRSG按照中国电信的要求：接入层不配置LocalVPN，在ASG上接入网管VPN（CTVPN193）ASG上BGPVPNv4要引入网管OSPF进程；OSPF引入BGP的时候加策略只引入U2000网段与U2000直连的RSG设备要将指向U2000的静态路由（或直连路由）引入到BGPVPNv4中在网管VPN中发布接入层使用OSPF多进程（分子接口）分别承载业务和网管，在CSG上网管和业务共存于全局路由表中所有ASG、RSG、SR、CR等设备的网管也需要配置网管VPN并绑定loopback口网管VPN（CTVPN193）U2000网管VPN与路由部署 中国电信IPRAN网络关键技术解决方案-网管部署Qos部署时钟部署网管部署资源规划方案概述路由部署业务部署物理拓扑可靠性BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBCSGASGRSG待上线CSG作为DHCPClient与待上线CSG直连的ASG或者作为DHCPRelayU2000作为DHCPServer即插即用目前只适用于接入层ATN网元部署时要将待上线CSG的接口互联地址和管理Loopback地址要让U2000路由可达最新版本使用DCN方案实现即插即用，不推荐使用DCHP，但是电信规范要求使用DHCP网管VPN（CTVPN193）U2000即插即用部署（DHCP方案）DHCPClientDHCPRelayDHCPServer 中国电信IPRAN网络组网关键技术方案中国电信IPRAN交付技术方案关键交付流程中国电信IPRAN建设交付解决方案目标中国电信IPRAN交付友商对接技术方案目录 中国电信IPRAN交付关键流程HLDLLDUnistarDesigner硬件安装即插即用业务部署U2000IPLCTU2000DD端口对接表/槽位图/圈图HLD设计结果/客户规范/物理安装图/板位图/圈图等客户需求/设计院设计结果市场解决方案项目TD工程队软调工程师关键流程投入与资源概览 中国联通IPRAN交付关键流程基础设计（UniSTARDesigner）生成配置脚本（U2000IPLCT）业务模板评审（人工）拓扑设计拓扑信息（原始/更新）链路规划数据定制命令模板（U2000IPLCT）命令模板设计人员局方/设计院部署人员操作步骤数据传递配置脚本评审（人工）直接下发脚本（U2000IPLCT）基础配置脚本业务部署及调测（U2000）工程文件（.usdx）定制业务部署模板（U2000GUI）根据脚本配置设备（U2000）未带业务设备已带业务设备配置脚本生成（U2000IPLCT）命令模板业务模板融合运维网设部署流程 中国电信IPRAN网络组网关键技术方案中国电信IPRAN交付技术方案关键交付流程中国电信IPRAN建设交付解决方案目标中国电信IPRAN交付友商对接技术方案目录 中国电信IPRAN友商对接交付方案待明确后补充 协作▪共赢电信▪华为 附录一ATN910&950串口线获取大量申请把串口线作为调试工具，单独申请。研发专门制作了一批非标准串口线，用于配发一线。请按照本模板反馈需求，发给研发廖润新00203345，抄送孙同心00064664。申请数量可按照每位参与工程实施和后期维护的工程师（包括合作方投入的工程师）每人一根，再多申请一些作为备份。少量申请（小于5条）可以直接向中国区IPRAN总体组申请，货到付款联系人：樊锦生（00091531）自己制作主要是与传统路由器的线序不同： 附录2-V6R1C01方案中的保护机制-1（ETH）BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPWL3VPNBFDforPW（50ms*3）+PWRedundancyBFDForIGP（10ms*3）&IGPFC+LSP快收敛VRRPBFDForVRRP（10ms*3）BFDForLSP（50ms*3）+VPNFRRBFDForIGP（10ms*3）&IGPFC+LSP快收敛CSG配置PW双收、PW的ARP双发，ASG配置ignore-standbystatePW配置WTR，ASG的BGP配置connect-retry；WTR>connect-retryASG上行两个端口建议采用不同缆推荐totallystubarea闭环以保证LDPLSP可以闭环LSP快速收敛LSP快速收敛返回 附录2-V6R1C01方案中的保护机制-2（ETH）BSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPWL3VPNBFDForIGP（10ms*3）&IGPFC+LSP快收敛BFDforPW（50ms*3）+PWRedundancyVRRPBFDForVRRP（10ms*3）BFDForIGP（10ms*3）&IGPFC+LSP快收敛BFDForLDP-LSP（50ms*3）+VPNFRRCSG配置PW双收、PW的ARP双发，ASG配置ignore-standbystatePW配置WTR，ASG的BGP配置connect-retry；WTR>connect-retryASG上行两个端口建议采用不同缆推荐totallystubarea闭环以保证LDPLSP可以闭环PW切换VPNFRRARP学习完成BGP邻居延时建立返回 附录2-V6R1C01方案中的保护机制-3（TDM）MS-PWPW+L3VPNBSC/aGW城域骨干BTS/eNodeBBTS/eNodeBPW1PW2BFDforIGP(10ms*3)+IGPFC+LSP快收敛BFDforPW(100ms*3)+PWRedundancyE-APS如果E-APS使用1＋1模式，则需要配置AC侧bypassPW，AC侧bypassPW与VC侧bypassPW的ID要交叉设置；PWRedundancy存在“主备模式”、“独立模式”两种，主备模式PW主备不随E-APS主备状态而切换，独立模式PW会随E-APS状态而切换，推荐使用“独立模式”。LSP为LDP-LSP时，LDPLSP收敛相对较慢，中间链路或节点故障有可能会同时触发BFDforPW倒换。如果客户对RSG节点故障要求不高，为了降低双层倒换概率，可以把BFDforPW调慢，例如100ms或500ms级别。Bypasstunnel主备模式独立模式（推荐）LSP收敛TDM目前不交付BFDforLDP-LSP(50ms*3)+IGPFC+LSP快收敛返回 101010100100101010RSGCRSRASGXYRSG-1要和ASG-1和ASG-2之间形成VPNFRR；主下一跳是ASG-1，走的路径是红色线条所示。如果X>Y，那么RSG-1到备份下一跳ASG-2走的路径肯定是绿色线条所示，这样就与红色线条同路径了。必须保证XY。二者矛盾了，所以只有X=Y，使用ISIS的weight值来控制（与之前NGN承载网的IGP规划相同）。推荐使用LSP快收敛弱化该问题，不使用IGPweight值。RSG-1RSG-2ASG-1ASG-2附录3-VPNFRR主备LSP共路径的问题-1 101010100100101010RSGCRSRASGXY1对RSG-1/RSG-2/ASG-1/ASG-2而言，要求：X=Y1+Y2；（参加上页胶片分析）同理，对RSG-1->ASG-1/ASG-3的VPNFRR而言，要求：Y1≥X+Y2；（参加左图黄色和紫色线条所示）同理，对ASG-3->RAG-1/RSG-2的VPNFRR而言，要求：Y2≤X+Y1将X=Y1+Y2代入，则Y1≥Y1+Y2+Y2&Y2≤Y1+Y2+Y1必须Y1=Y2=0，该不等式才能成立，所以无解！依靠LSP快收敛来弱化该问题。RSG-1RSG-2ASG-1ASG-2ASG-3Y2附录3-VPNFRR主备LSP共路径的问题-2返回