|
|
：分析了以满足5G业务承载为主的智能城域网网络的总体架构，从智能城域网组网、IGP协议部署、BGP协议部署，结合Segment Routing、SDN、BGP-LS、MPLS BGP VPN跨域对接等技术。阐述了智能城域网与周边网络系统的对接情况及5G相关业务VPN在智能城域网内、跨网之间互通的网络承载实现方案。智能城域网通过架构简化、协议简化、设备简化、网络控制和管理智能化实现了面向5G业务为主的多业务融合统一承载，解决了业务承载一致性差的问题，满足未来5G时代业务的承载需求。
在长期的业务网络发展演进过程中，联通构建了多张不同定位的IP 承载网络，大致上可以分为IP 城域网和UTN城域承载传送网。其中，IP 城域网是网络业务的承载网络，主要承载的有家庭固定宽带、固网语音、IPTV、政企专线等业务；UTN城域承载传送网络则大多数都用在IP/MPLS技术的无线接入网（IP RAN）、政企专线等业务。不同城域网络的管理相对独立，并且在设备容量、协议使用、自治域划分以及业务功能支持上都各不相同，随着IP业务融合演进发展的趋势，上述网络之间形成了复杂的业务联系，多张网络互联带来了背靠背资源浪费以及网络管理的高复杂度，同时导致业务承载的一致性差、业务转发效率低、网络扩展不灵活、创新业务支撑不足等一系列问题。
鉴于现有网络的复杂性以及5G承载、通信云化、城域网网络功能虚拟化等业务承载的迫切要求，中国联通城域网络重构势在必行。随着5G时代的到来，5G基站建站速度及建站密度都远超4G基站，4G承载网的接入汇聚核心设备无论从容量还是功能性能等方面都不足以满足5G 业务的发展，因此，以5G建设及5G承载网络构建为契机，打破烟囱式的组网架构，构建一张融合承载的智能城域网实现通信云、移动业务、政企客户接入以及固网宽带等业务的综合承载成为必要[1]。
智能城域网采用核心（MCR）+ 汇聚（MER）+ 接入（MAR）的简化架构实现5G 业务、专线G 基站互操作等业务的综合承载目标。联通智能城域网总体架构如图1 所示。
其中，核心设备（MCR）用于网内不同汇聚设备间流量转发以及与其他网络间流量转发；汇聚设备（MER）用于多业务综合承载接入，包括基站回传业务、大客户业务、通信云业务以及vBRAS业务等，与MER同局址的BBU或少量周边基站直接接入MER；接入设备（MAR）用于基站接入以及部分节点的综合业务接入。
MCR和169网CR对接，疏导vBRAS家宽业务流量以及互联网专线类流量；MCR 和CUII/B对接，疏导访问大区5GC流量；MCR和UPF对接，疏导访问UPF流量。MCR和IPRAN对接，疏导互通流量和访问4G 核心网流量；MCR 和电信网络对接，疏导共建共享流量。
智能城域网IGP 协议层次化部署，MCR 与MER 之间、MER 与MAR 之间均部署ISIS 协议，都采用Level2层级，MCR 与MER 设备共进程ISIS n。接入环采用ISIS 多进程，接入MAR 设备按环分进程，每个接入环（或接入链）部署1 个ISIS 进程，与核心汇聚层实现路由隔离，同一对汇聚设备下不同接入环分属不同进程，进程间的路由相互隔离[2]。如存在多级接入环，二级接入环/ 接入链与一级接入环采用同一进程。
MAR 将MAR-MAR 互联、MAR-MER 互联接口和自身环回口宣告进ISIS，ISIS 进程号与本设备所在的环号对应。MER-MER 互联接口开启N+1个子接口，面向接入侧的N个子接口运行接入环ISIS进程，第N+1个子接口运行MER-MCR之间的ISIS进程。
接入环MAR-MER或MAR之间的COST设置为100，MER-MER之间用于接入环ISIS 进程的互联子接口COST值大于接入环所有链路COST 值之和设置为2 000，为接入环闭环，确保MAR 之间的互通不经过MER 绕行。
MCR根据双平面设计原则，汇聚环MER之间以及MER-MCR之间COST 设置一致均为100。同时为保证横穿流量尽量靠近接入层，相同层级节点之间互联电路COST值逐级减小，MCR-MCR之间COST设置为150大于MER-MER的COST值100。
核心汇聚ISIS 进程和接入ISIS 进程进行按需路由引入。接入环汇聚设备将其loopback 路由引入接入环ISIS进程。对于业务IP，按照业务分层部署方案，接入设备的路由没有必要引入到汇聚环中。
当汇聚MER上进行接入环ISIS进程和汇聚环ISIS进程的双点双向路由重分布时，为了防环，在相互重分布路由时必须要格外注意在将汇聚ISIS进程的路由发布给接入ISIS进程之后不能再被重分布进汇聚ISIS进程，同理，在将接入ISIS进程的路由发布给汇聚ISIS 进程之后不能再被重分布进接入ISIS 进程。
路由引入可能会导致环路问题，如图3 所示，接入进程为ISIS 2，汇聚进程为1000，汇聚环MER 间的COST值为100，对于A2 设备的环回地址在2 台MER上查看COST值均为200，在2 台MER 的ISIS 1000进程分别引入ISIS 2，此时在MER1 上再次查看A2的环回地址COST值为100，下一跳为MER2，同理在MER2上查看A2的环回地址COST值为100，下一跳为MER1，此时环路产生。为解决以上问题，在进行路由引入时需要打上更大的cost值（现网配置为10000）。
SRGB 域的空间大小设置原则为：大于SR网络（本地网）域内网元数量，同时要保证 SRGB 起始值加偏移值不大于 SRGB 的结束值。
每台设备的 NODE SID 设置为每 AS 域内唯一，为每台设备分配 6 个 NODE SID，其中，预留 5 个标签用于满足后期硬切片等业务发展需求。
在智能城域网内，BGP 协议除了作为跨网边界路由协议外，还大多数都用在传递业务路由，BGP 开启 BGP VPNv4/VPNv6/EVPN 地址族用于传送相关业务路由。
智能城域网及 5G 接入环部署两级 RR，智能城域网核心设备 MCR 兼做一级 RR 并且 cluster-id 设置一致，一级反射器 MCR 不设置下一跳为自己，智能城域网中 MER 做 RR client；5G 接入环汇聚设备 MER 兼做二级 RR 不设置 cluster-id，二级 RR 作为 5G 接入环内的 RR，对同环路由不修改下一跳，对其他路由（跨环和回传）修改下一跳地址为自己，5G 接入环内的别的设备做 RR client。
智能城域网边缘设备与路由反射器建立BGP-LS邻居关系获取网络拓扑信息，路由反射器与SDN控制器建立BGP-LS邻居关系[3]，控制器根据获取的拓扑信息计算路径。
智能城域网网络目前为口字型部署，结合业务需求及运维管理，智能城域网全网设备上同一个 VRF 的 RD 设置一致。汇聚核心设备部署单 RT，其值与 RD 值 保持一致。接入设备目前对于 5G_RAN、5G_RAN_ VIP、4G_RAN 业务启用双 RT 部署，因为这些业务存在 Xn 流量，在实现 S1 业务的同时保证 Xn 同环业务的直接转发需求。
双 RT 规划路由策略为：接入设备启用双 RT，RT1 和 RT2，同环业务使用 RT2，别的业务使用 RT1，MER 针对不一样环的 MAR 设备分配到不同的 peer group 组，MER 给 MAR 下发缺省路由的同时再给同环 MAR 发布携带对应 RT2 的路由。
MER 本地配置缺省路由，并将缺省路由通过 network 方式在 bgp 的 VPN 实例下引入，MER 针对不一样环的 MAR 设备分配到不同的 peer group 组，针对不同的 group 使用不相同的 export 策略，主要不同之处在于 node 20 设置，MER 针对不一样的接入环邻居发布对应 RT2 的路由。
智能城域网网络目前为口字型结构，BGP选路遵循同侧优先的原则，将MCR和MER分为2个平面，其中MCR1和MER1在同一平面A，MCR2和MER2在同一平面B。
智能城域网SDN控制器和业务系统实现智能城域网的协同控制及配置自动下发等，满足云网一体及5G、大客户、家宽等业务综合承载、自动开通、弹性调整和线 示意。
1）业务系统分为统一业务系统和省内业务系统。统一业务系统和省内业务系统分别负责全国统一业务及省内特色业务的自动开通、弹性调整和线上控制，同时北向开放网络能力和业务能力，供其他系统调用。
2）智能城域网能力平台实现不同省智能城域网的编排协同以及分发，统一对外提供接口，开放网络能力；
3）SDN 控制器具备对所管辖的省内智能城域网接入（MAR）、汇聚（MER）及核心设备（MCR）的集中控制能力，并控制网络完成必要的业务以及智能运维相关的配置，实现配置的自动下发。
4）智能城域网SDN 控制器和能力平台之间间采用统一的YANG 模型对接。
6）智能城域网SDN 控制器与业务系统和跨网协同层、通信云之间接口采用标准接口对接。
7）智能城域网统一业务系统，能力平台及SDN 控制器采用全国集中的方式来进行部署，省内定制业务系统根据省内需求来做部署。
智能城域网涉及与多个系统及网络进行对接，目前省内智能城域网与异网互通现状如图6 所示。
5GC控制面全国大区集中设置，通过接入骨干IP承载B网实现与各本地智能城域网联通，5GC 用户面分重点城市部署。郑州、洛阳大区MCR 通过n×100G链路和郑州、洛阳大区5GC-U 出口设备对接为大区地市提供5GC 用户面出口。地市MCR 通过100G链路上联郑州、洛阳大区MCR 疏导地市5G 用户面出口，目前与电信共建共享流量也是通过大区MCR 疏导的。智能城域网MCR 与B 网对接用于疏导本地市C 面到大区C 面流量以及基站管理流量；与A 网对接用于实现SDN 自动下发以及MAR 自动上线等功能。智能城域网MCR 与联通IPRAN 对接用于疏导4G、5G 基站互通流量。
目前地市MCR 与郑州、洛阳大区MCR 互通的VPN 有5G_RAN、5G_RAN_VIP 和4G_RAN 的VPN，地市MCR 与大区MCR 建立eBGP 邻居，采用Option A 方式来进行跨域VPN 业务互通。目前河南省内仅郑州和洛阳大区MCR 与电信网络互通，其他地市的MCR 还未与电信网络互通。
地市MCR 与大区MCR 间5G_RAN VPN 的互通实现为：地市MCR 发送本地市联通和电信5G 基站地址段给大区MCR，大区MCR 发送全省联通、电信5G 基站地址段以及联通电信UPF 地址段给地市MCR 实现业务互通。
地市MCR 与大区MCR 间5G_RAN_VIP VPN 的互通实现为：地市MCR 发送本地市VIP 地址段给大区MCR，大区MCR 发送本大区VIP 地址段以及大区C 面网段给地市MCR 实现业务互通。
地市MCR 与大区MCR 间4G_RAN VPN 的互通实现为：地市MCR 发送本地市4G 基站地址段以及智能城域网新开4G 基站地址段、NSA 基站地址段给大区MCR，大区MCR发送UPF 地址段给地市MCR实现互通。
MCR 与B 网AR 间5G_OAM 的互通实现为：MCR 发布本地市5G 基站管理地址段给B 网，B 网发布省中心5G 网管服务器地址段给MCR，实现基站到基站网管的互通。
MCR 与B 网AR 间设备管理public VPN 的互通实现为：MCR发布本地市智能城域网网元管理地址段给B网的IPRAN VPN，B 网通过IPRAN_JT VPN接收集团网管服务器地址段发布给IPRAN VPN，实现MCR/MER/MAR 网元到集团网管服务器的互通。
MCR与CUII网AR间设备管理public VPN的互通实现为：MCR 发布本地市智能城域网网元管理地址段给CUII网的SMAN_NMS_JT VPN，CUII 网将集团SDN 控制器地址段发布给MCR，实现SDN控制器对网元的数据自动下发
ONLINE 的互通实现为：MCR 发布本地市新增MAR网元的DCN 地址段、现网MAR 网元的管理地址段给CUII 网的SMAN_NMS_CJ VPN，CUII 网将集团部署的自动下发网管的地址段发布给MCR，实现自动下发网管对新增MAR 网元进行设备上线数据下发、对现网MAR网元进行数据下发。
MCR与UPF网络各业务互通实现为：MCR向UPF EOR下发各业务的缺省路由，UPF EOR向MCR发送人网UPF业务地址、物网UPF 业务地址、UPF管理地址、MEC业务地址和相关C面信令地址等，实现用户访问UPF、网管管理UPF 和相关信令交互业务的互通。
MCR 与IPRAN 间4G_RAN 的互通实现为：MCR发送本地市智能城域网下挂的联通/ 电信4G 基站业务地址段、智能城域网下挂的联通/ 电信5G NSA 基站业务地址段和5G UPF 业务地址段给IPRAN，IPRAN 发送本地市IPRAN 下挂的联通/ 电信4G 基站业务地址段、IPRAN 下挂的联通/ 电信5G NSA 基站业务地址段和4G EPC 业务地址段给地市MCR 实现业务互通。
MCR 与IPRAN 间4G_OAM 的互通实现为：MCR发布本地市智能城域网下挂的4G 基站管理地址段、智能城域网下挂的5G NSA 基站管理地址段给IPRAN，IPRAN 发送省中心4G 网管服务器地址段给MCR，实现基站到网管的互通。
智能城域网MCR 与电信承载网互通的业务VPN 有5G_RAN，采用BGP MPLS VPN 跨域Option A 方式来进行对接，实现跨域VPN业务互通。目前河南省内仅郑州、洛阳与电信网络进行互通。
MCR 与电信承载网间5G_RAN 的互通实现为：MCR 发送联通5GC 地址段，UPF 地址段以及电信分配给联通地市的地址段给电信承载网，电信承载网发送电信5GC 地址段，UPF 地址段以及联通分配给电信地市的地址段给MCR 实现共建共享基站到对应核心网的业务互通。
当网络无故障时，正常流量转发场景如图7 所示。MAR 的S1 业务，上行选择就近MER 转发，下行方向MER1 和MER2 均可转发，实现单发双收功能，见红色曲线；
Xn 业务，同环直接转发，同汇聚跨环时，两台MAR 选择就近的MER 中转，跨MER 场景，与S1 业务类似，可以借鉴上面的S1 转发过程。
为保证网络故障时业务的快速切换，现网针对不一样故障场景部署了相应的快速检测机制
A2设备TI-LFA 生效，A2 设备业务路由下一跳仍然是MER1，因为启用防微环功能，防微环时间5s，A2 到MER1 的SR LSP 将是节点标签和邻接标签组合；
MER 上联方向网络无变化，MER1和MER2 均能收到回程报文，MER1 需要绕行MER2 到A2；
当6/7 节点故障，即MER/MCR 横连链路故障时，流量转发如图10 所示。
MER 之间链路一般的情况下，没有业务流量，链路down 对业务流量转发不影响；
MCR 之间链路一般的情况下，没有业务流量，链路down 对业务流量转发不影响。
AR 设备BGP 邻居因为bfd for bgp会down，路由会收敛，收敛完成前，AR 发给MCR1 的数据包会被丢弃。
MER1 检测到MCR 虚拟下一跳不可达，撤销发给MAR 的缺省路由，MAR 切换路由下一跳为MER2；
2）MCR1 设备bfd for srtunnel 生效， 下一跳为MER1 和MER2 路由均失效，因为MCR 向AR 设备发送的是聚合路由，若非按成对MER 做汇聚，发给AR的路由就无法失效，在AR向MCR1转发流量时，会丢包；
：IGP 路由收敛，MER1 和MCR1 之间的SR LSP 可正常建立，由于LP 设置同侧优选的原因，MER1 和MCR1 会优选对方成为转发下一跳，转发路径需要从其他MER 绕行，见红色实体曲线；丢包包含两部分，一个是MER1 设备从bfd 检测到vpnfrr 切换过程，一个是由于IGP 收敛MCR1 到MER1的SR LSP 形成之前。
对于X2 业务，同环无影响，跨汇聚场景跟S1 类似，同汇聚跨环部分场景需要绕行MCR 转发，见实体红色曲线流量；
MER 向MCR 发路由撤销，撤销本环的业务路由，MCR 业务路由收敛之前，MCR1 转发给MER1 的数据包会被丢弃。
智能城域网的建设部署实现了多业务的1 张本地网统一承载，解决了现有城域网网络复杂、跨网互通成本高、业务转发效率偏低、业务承载一致性差、网络扩展不够灵活、创新业务支撑不足等一系列问题。
应用的部署，更好地实现了云网协同、业务自动开通，促进了通信DC 的云化演进，同时构建智能化、自动化、开放化的网络管控系统，开创了全新的业务开通模式，提升了网络配置的规范性、准确性、可靠性，支撑智能化运维和互联网化运营，大幅度的降低了运维成本，迎接5G 时代的挑战。
[4] 方妍,李文华,鲍彦泽.面向5G业务承载的新型智能城域网重构[J].计算机与网络,2021,47(20):43.
[5] 李芳,赵文玉,张海懿.面向云网融合的5G承载网络技术发展的新趋势探讨[J].通信世界,2021(09):25-26.
