(1)110kV/10kV配电系统
园区自建110kV变电站,引入两路独立110kV市电,站内配置两台110kV/10kV变压器,每台容量50000kVA,两路常供。变电站两路110kV进线采用内桥接线;变电站10kV中压系统采用单母线分段接线,设母分;数据中心每栋配置一套独立中压系统,采用单母线分段接线,不设母分;每套中压系统分别从变电站两段10kV母线段各引入一路10kV市电电源,两路常供。
数据中心低压配电系统,采用变压器(1 1)方式运行,每套低压系统配置两台2000kVA的10kV/0.4kV变压器,两路常供。低压馈电采用单母线分段,设母联,“两进线一母联”采用电源自动转换系统,实现自动切换控制。
(2)后备发电机系统
共配置18台10kV/2400kW柴油发电机组作为数据中心备用电源,配置一套具有多种并机模式及控制功能的并机控制系统。发电机组并机系统采用单母线分段接线,设母分。并机系统可实现自动启动、自动并机,实现加、减机控制、负载自动投切控制等功能。并机系统具备两种工作模式:
模式A:母分保持闭合状态,18台机组并联运行,组成一套并机系统;
模式B:母分保持断开状态,18台机组分成两组,组成两套独立并机系统。
(3)市电/油机电源切换系统
数据中心每栋从变电站引入两路10kV市电电源,从发电机房引入两路10kV备用电源,每路容量均能满足该栋数据中心满载负荷。数据中心每栋分别配置两套独立市电/油机10kV切换装置,切换装置设电气及机械互锁。
数据中心4套独立10kV系统供配置8套独立的市电/油机切换装置,集中布置在数据中心1#楼和4#楼两个配电室,缩短切换操作时间。
(4)机房电源系统
数据中心机房电源系统,根据业务类型、负载种类、客户需求的不同,提供多种供电模式,包括48V直流、2N交流UPS、交流UPS 市电直供、240V直流 市电直供等模式。
四、数据中心240V直流 市电直供供电结构
当前,大型数据中心IT设备在积极采用新型供电方式,进一步降低供电损耗。由于高压直流供电系统,在投资成本、系统效率、占地空间等方面,较交流UPS具有更大的优势,已得到较大规模的推广和应用。
目前,240V直流供电技术的可行性已经得到较好验证,相应的理论分析和实践经验也在不断研究和总结中。240V直流供电技术已经成为行业热点,并在不断改变传统数据中心供电以交流UPS为主的格局。其中,基于240V直流技术衍生的“240V直流 市电直供”供电架构,进一步提升供电效率,节能效果更为显著。
数据中心一路高压直流、一路市电直供供电架构,主要有以下三种供电结构:
①供电结构(一):IT设备两个供电路由,市电直供路由、240V供电路由完全独立;
②供电结构(二):IT设备两个供电路由,其中240V直流系统输入屏设置双电源切换装置;
③供电结构(三):IT设备两个供电路由,其中市电直供输入屏、240V直流系统输入屏均设置双电源切换装置。以上三种供电结构如图4所示。
上述三种240V直流 市电直供供电结构,从供电等级看,均属于可维护型供电结构。系统结构的演进及优化,通过采用增加较小投资成本,实现较大幅度提高系统可用性的目标。通过在不同位置增加双电源切换装置,增加部分设备双路由供电,一方面提高系统的可维护性,另一方面提高系统中部分设备的故障应急抢修、计划性停电维护期间的供电连续性。
上述产业园数据中心应用案例中,根据用户对保障等级要求,采用模式(三):
①供电系统的低压变配电部分采用集中供电方式,布置于一层配电室;数据中心各层机房分别设立设置楼层配电柜,低配与楼层配电柜间通过密集型母线连接;
②两路市电电源均通过双电源切换后,分别输出至设备市电直供列头柜,或经直流电源输出至240V列头柜,有效地提高了市电直供路由的可靠性;
③设备两路供电逻辑关系对应,保证设备两路电源取自不同市电。
五、数据中心2N UPS系统供电结构
由于UPS设备结构复杂,因此自身容易发生故障,设备冗余可以提高可用性,UPS系统便有了N、N X等多种供电架构。较高等级数据中心供电结构中,为了消除单点故障,对重要保障负荷采用2N冗余系统。
2N冗余系统是由两套或多套UPS系统组成的冗余系统,每套UPS系统有N台UPS,设备的总容量为系统的基本容量。该系统从交流输入经UPS设备直到双电源输入负载,完全是彼此隔离的两条供电线路。也就是说,在供电的整个路径中,所有环节和设备都是冗余配置的。正常运行时,每套UPS系统仅承担总负荷的一部分。这种多电源系统冗余的供电方式,克服了单电源系统存在的单点故障瓶颈,保证其供电可靠性,采用2N冗余供电系统,其可用性得到明显提高。
2N冗余系统供电结构的实现,根据UPS系统接线关系的不同,主要有以下三种供电结构(见图5):
①供电结构(一):2N UPS的两台主机的输入电源分别取自不同低压母线段,其中单台主机的主路输入、旁路输入取自同一条低压母线段;系统两面输出柜配置手动维修旁路,手动维修旁路取电低压母线段与对应的UPS主机相同;
②供电结构(二):2N UPS的两台主机输入电源分别取自不同低压母线段,其中单台主机的主路输入、旁路输入取自同一条低压母线段;系统两面输出柜配置手动维修旁路,手动维修旁路取电低压母线段与对应的UPS主机不同;
③供电结构(三):2NUPS的两台主机分别配置一面双电源切换柜;两路市电经双电源切换后,输出至对应UPS主机输入电源;其中单台主机的主路输入、旁路输入取自同一面;输出柜配置手动维修旁路,手动维修旁路输入端取自对应的双电源切换柜;双电源切换柜配置手动旁路功能;
信息产业园2N UPS系统采用供电结构(三)形式:2NUPS系统中的各单机,设置对应的ATS配电柜;ATS柜均有手动旁路功能;满足UPS系统从两路不同市电供电要求,提升系统可用性;在低压母线电压异常、UPS系统计划性检修维护等工作状态下,该供电结构保证设备连续供电要求;
信息产业园2N UPS系中,UPS主机系统选择模块化UPS。与传统塔式机相比较,模块化UPS优势明显:单机实现模块并机冗余控制,可用性高;模块化UPS能够实现随需扩容,降低建设初期投资;UPS功率模块、静态旁路模块实现在线热插拔操作,具有较高维护性;UPS功率模块在高效运行,降低整机系统损耗。UPS模块化是数据中心不间断电源供电技术未来发展方向之一。
六、数据中心制冷系统设备供电结构
从制冷系统功能角度看,数据中心制冷系统主要为数据中心提供冷源,制冷系统与供电系统构成数据中心基础设施重要的组成部分。
从制冷系统用电角度看,数据中心制冷系统相关设备,如群控系统、冷冻水主机、冷却塔、循环泵等,是数据中心重要的用电设备,也是数据中心要重点保障的设备之一。
数据中心实际案例中,往往缺乏对数据中心制冷系统供电保障可靠性的认识,很多数据中心的制冷系统建设,其初期投资、规划、施工一般与数据中心机房的土建建筑工程一起完成。
由于建筑工程与数据中心机房工程建设在相关规范要求、施工工艺要求等方面,存在一定差异,制冷系统初期建设往往因投资总额、施工质量、施工技术等各项条件限制,往往忽视系统设备的供电可靠性,并对后期制冷系统的可靠性、可用性、可扩展性方面产生较大影响。
以上述产业园数据中心的冷冻水制冷系统为例,其冷冻水系统结构,主要采用3台高压冷水机组,水系统按照“2用1备”模式运行,每套水系统配置独立蓄冷罐,水系统中冷却塔、水泵、电磁阀等均为低压供电模式。
图6所示为传统模式下该制冷系统供电结构。从传统制冷系统供电结构上看,制冷系统主设备尽管冗余设置,但所有独立系统均取自一套低压供电系统,且取自同一面配电柜;相互独立的水系统用电设备,供电系统未独立设置;当一套配电系统或某个配电单元出现故障,引起制冷系统整体停机;供电系统未配置UPS,两路市电异常情况下,不能保障连续制冷要求
图7所示为产业园制冷系统实际采用的供电结构,该供电结构基于各套制冷系统冗余工作模式,为每套制冷系统提供完全独立的供电模式;制冷系统重要等级低的用电设备,均采用双电源切换装置,双电源切换柜配置手动旁路;制冷系统用电设备ATS主/备一致对应,避免市电切换影响系统运行;制冷系统中冷冻水循环泵、群控系统、主机控制柜等设备,采用独立单机UPS系统供电模式,保障数据中心持续供冷。采用该形式供电结构,保证了制冷系统在水循环、供电结构、逻辑控制等方面完全独立,进一步提高数据中心制冷系统可靠性、可用性、可维护性。
七、数据中心供配电技术展望
(1)实现快速部署、快速扩容是供配电技术未来发展的重要课题
如何有效缩短数据中心建设周期,是各数据中心在决策、规划、设计阶段,要考虑的主要问题之一。在数据中心网络技术领域,模块化设计在大型的云计算数据中心以及超级计算机中都很常见,模块化数据中心这一趋势进一步推向主流,数据中心设计建造中很多问题都与系统模块化程度有关。
实现数据中心供配电系统快速部署、快速扩容,可以采取供配电系统整体设计、预制化、模块化的建设思路,是未来数据中心基础设施设计的基本策略和重要理念。
供配电系统模块化建设思路,不仅设计某一特定设备内部模块化,还应升级到供电、配电等系统层面系统级模块化,供配电系统级的模块化发展,及与之关系紧密的标准化,简化供配电系统从初期规划、系统建设、运维管理每一个环节复杂度。
实施过程中,应综合考虑变配电、楼层配电、不间断电源等各部分组成架构、结构特点,结合数据中心建筑设施特点,实现供配电系统一体化规划、模块标准化预制、整体拼装等,从而达到有效缩短供配电系统建设周期,实现供配电系统快速部署、快速扩容的目标。
(2)对供电系统高可用性、易维护性要求,依然是数据中心供配电技术重点发展方向从数据中心供配电系统的最终功能要求来看,在数据中心运营阶段,供配电系统高可用、易维护一直是数据中心供配电主要目标。
从国际、国内标准或规范来看,数据中心保障等级、可靠性与供电结构的复杂度息息相关,但系统可用性、易维护性并没有随着系统保障等级变高,在部分供配电结构中,反而因为系统复杂度上升影响了系统的维护性。传统数据中心为保证可靠性提高,采用复杂的供配电结构,对于部分系统自动化控制不足的数据中心,复杂的供配电架构其实对运维人员技术能力、素质水平都有非常高的要求。
从IT负载特点看,随着互联网技术的发展,云计算、云存储、虚拟化技术的应用,现代数据中心的设备负载与传统数据中心相比,负载属性有了质的变化,不同保障等级的设备占比,也有极大的变化,更多的设备可用通过“240V 市电直供”“UPS 市电直供”等简单模式代替传统的“2N UPS”等系统结构。系统结构复杂度降低、供配电结构可靠性提高,都对供配电系统的可用性、维护性等提出更高的要求。
(3)有效减少投资成本、提高空间利用率、实现供配电系统节能高效运行是数据中心供配电技术发展面临的重要挑战平衡成本、效益的关系,依然是数据中心行业重点要考虑主要问题,也是数据中心体现其自身商业属性的必然要求。
一方面,从建设成本及空间利用率角度出发,未来需要通过进一步优化供配电系统结构,努力提高供配电系统智能控制水平,节省不必要冗余设备投资,减少电力系统空间占地面积,提高数据中心IT设备可装机架能力。随着高密度IT设备的要求,供配电系统设备本身也要通过提高技术水平、优化设备柜体结构、措施,提高其单位占地面积的供电能力。
另一方面,从运营成本及节能角度出发,当前数据中心面临日益严峻的高能耗,需要通过新技术应用,如采用削峰填谷供电技术、DCIM管理技术等,进一步提高供配电系统的供电效率,减少供电系统电力损耗,降低数据中心PUE值,节约运营期间的电费成本。
,
