admin管理员组

文章数量:1534541

2024年2月16日发(作者:)

第38卷第2期   2021年2月  计算机应用与软件ComputerApplicationsandSoftwareVol38No.2Feb.2021面向金融云的超高吞吐新型金融DMZ网络,2涂晓军1 孙 权1 蔡立志31(中国银联股份有限公司 上海201201)2(复旦大学 上海200433)3(上海计算机软件技术开发中心上海市计算机软件评测重点实验室 上海201112)摘 要  DMZ网络区域是金融行业非常典型的一个网络区域,用于隔离不可信外网与可信内网之间的网络流MZ区域成本高昂、吞吐性能无法水平扩展等问题,提出并实现一种极简架构、超高吞吐的金融量。针对现有DDMZ区实现方法,可以减小DMZ区部署设备数量与复杂度,同时提升吞吐性能。关键词  开放交换机 自主可控 金融云中图分类号 TP3    文献标志码 A    DOI:10.3969/j.issn.1000386x.2021.02.019HIGHTHROUGHPUTFINANCIALDMZNETWORKFORFINANCIALCLOUD11,23TuXiaojun SunQuan CaiLizhi1(ChinaUnionPayCo.,Ltd.,Shanghai201201,China)2(FudanUniversity,Shanghai200433,China)3(ShanghaiKeyLaboratoryofComputerSoftwareEvaluating&Testing,ShanghaiDevelopmentCenterofComputerSoftwareTechnology,Shanghai201112,China)Abstract  DMZnetworkareaisaverytypicalnetworkareainthefinancialindustry.Itsmainfunctionistoisolatenetworktrafficbetweentheuntrustedexternalnetworkandthetrustedinternalnetwork.ThecurrentimplementationoftheDMZzonehasproblemsofinsufficientthroughputandhighcost.Inthisregard,thispaperproposesasimplearchitectureandultrahighthroughputfinancialDMZareaimplementation.ItsignificantlyreducesthenumberandcomplexityofequipmentdeploymentintheDMZ,anditcangreatlyimprovethethroughputperformance.Keywords  Openswitch Secureandcontrollable Financialcloud求。银联核心的互联网产品云闪付也发展迅猛,带来0 引 言近年来,随着金融云建设的深入以及金融科技的发展,金融云的组网面临着转型与升级的可能。其中的驱动力主要由业务与技术的双重因素所决1-3]定[。 4]。整个金融行业的整合正在加了巨大的互联网流量[速,尤其在金融科技的技术栈越做越深之后,头部金融机构主导的行业化服务正在兴起,大型的金融行业云MZ网络区域是逐步形成,互联网流量将大量接入。D金融行业非常典型的一个网络区域,用于隔离不可信外网与可信内网之间的网络流量。如何构建架构简单、高吞吐量,以支撑海量的互联网入口流量是金融机构普遍关注的一个问题。随着断直连监管措施的落地,银联接入了大量小额高频的交易,对信息系统的并发度提出了很高的要2020-06-04。上海市优秀学术/技术带头人计划项目(19XD1433700)。涂晓军,高工,主研领域:云计算,大数据,收稿日期:移动支付。孙权,教授级高工。蔡立志,教授级高工。

 第2期   涂晓军,等:面向金融云的超高吞吐新型金融DMZ网络 1111 当前金融DMZ区实现方案通常,金融数据中心的外网流量通过DMZ区进行接入。DMZ网络区域是金融行业非常典型的一个区域,它的主要作用是隔离、代理不可信外网与可信内网之间的网络流量。针对当前DMZ区的实现存在吞吐5专不足、成本高的问题,普遍的做法是采用昂贵的F用负载均衡设备,数十台交换机用于流量转发,上千台服务器做Web反向代理,如图1所示。该方案存在如下问题:1)成本高昂:构建一个DMZ区需要用到大量的设备,包括昂贵的F5专用负载均衡设备、数十台交换机和上千台服务器。2)吞吐能力不足:即使采用了上述大量的设备,DMZ区的吞吐能力仍然较低,通常小于100Gbit·s-1。这对于银行业大流量的互联网业务(例如云闪付、融e联等)来说,在开展商业促销活动时会遇到瓶颈,无法满足未来的需求。3)无法水平扩展:整个集群的最大吞吐能力受限于最前端的F5负载均衡设备,扩容量只能更换新型号设备,无法水平扩展。图1 基于F5的DMZ网络方案2 网络设计2.1 方案设计本节针对现有DMZ区域成本高昂、吞吐性能无法水平扩展等问题,提出一种极简架构、超高吞吐的金融DMZ区实现方法,在大幅减小DMZ区部署设备数量与复杂度的同时能够极大地提升吞吐性能,如图2所示。图2 新型DMZ网络架构图整个DMZ区仅由一台可编程交换机和一个加强型服务器集群构成。可编程交换机侧主要负责入口流量的四层报文的处理,其中涉及的功能如下:1)四层的防火墙:依据黑白名单的地址以及内置检测DDoS的算法,对一部分非法流量进行预清理。2)四层的负载均衡:依据所访问的服务目的地址(通常是一个服务的IP),通过查找表项以及Hash算法将目的地址转换为实际的服务实例。3)流量转发:将流量导入至服务器进行更高层的报文处理。在加强型服务器集群中,为了使服务器端七层的报文处理达到更高的性能,需要配置加解密卡和25Gbit智能网卡,以便于将部分的工作从CPU卸载至专用硬件上。加解密卡用于卸载HTTPS加解密的流量处理,例如IntelQAT卡;25Gbit智能网卡用于实现25Gbit·s-1的高吞吐,同时其还具备Vxlan、UDP分片、TCP校验等硬件处理功能,从而可以最大限度地降低CPU的处理负担,并且使得报文的处理延时能够有确定性的保障。软件层面采用Nginx服务器做七层的负载均衡、http反向代理、深度包检测过滤等工作。2.2 工作流程本文方法流程如图3所示,Internet流量进入后,包括3个步骤:1)交换机先处理四层的流量,包括四层DDoS防护、四层负载均衡。2)服务器集群负责七层报文解析,包括DPI深度包检测、HTTPS加密流量卸载、HTTP反向代理。3)将清洗过后的流量引到核心App区。

  112   计算机应用与软件2021年图5 负载均衡流水线示意图负载均衡方案的实现难点是PCC(PerConnection)有状态连接保持,需要控制面参与配合,Consistency图3 新型DMZ网络流向示意图2.3 DMZ网关技术原理本文方案在网关处采用了P4SDN可编程交换的技术以及可编程交换芯片实现超高的吞吐量级[5-7]。P4的可编程模型是相对于传统固定流水线的交换芯片而言的,它的架构是基于PISA(ProtocolIndependentSwitchArch)全流水线可编程的架构。可编程交换芯片示意图如图4所示。图4 可编程交换芯片示意图该架构的基本单元是matchactiontable,其中match单元可以匹配任意报文的偏移与字段长度;action单元则有相对比较丰富的报文编辑功能;此外,片上的存储资源SRAM与TCAM也可以进行全局灵活的配置。整个P4的控制过程包括包头解析、可编程入流水线、可配置缓存管理TM,以及可编程出流水线的处理。对应的编程框架包括:自定义报文头,matchaction表项的定义、全流水线控制流的串接。可以看出,P4模型的核心特征仍然是基于网络包处理的高速交换,它可以实现Packet通信相关事件的处理,灵活匹配,灵活编辑,以及小容量的高速存储查找。2015年Facebook利用Tofino商用芯片的P4可编程技术实现了能够存储1000万条表项的有状态四层负载均衡,单交换芯片的能力相当于一百台服务器的软负载均衡性能。本文方案也是借助于P4的可编程模型,实现有状态的四层负载均衡,其流水线如图5所示。并且在流表中记录下每个新建连接的状态。此外,为了实现负载均衡的地址池,以及来回报文的原路处理,在去程还需要实现DNAT,回程需要实现SNAT,并且定期需要广播或者响应虚地址的ARP请求。3 关键技术目标设计实现3.1 吞吐容量设计实现吞吐量和DMZ网关的重要指标。我们以6.4Tbit·s-1规格的可编程交换机(采用BarefootTofino交换芯片)为例,设计和规划整个系统的吞吐容量。6.4Tbit·s-1规格的可编程交换机有64个100Gbit·s-1的端口,其中:(1)10个端口用于接收外部进入的流量(100Gbit·s-1×10=1Tbit·s-1)。 (2)50个端口用于挂载服务器,每个服务器配置25Gbit·s-1网卡,因此可以挂载100Gbit/25Gbit×50=200台的服务器用于处理。(3)剩余4个端口用于流量的输出(100Gbit·s-1×4=400Gbit·s-1),输出到最终的App区。(4)交换机的片上资源(SRAM+TCAM)可用于存储表项,约可以存储100万条的有状态四层连接。通过64个端口的规划设计,整个DMZ集群的吞吐量可以达到Tbit·s-1级别,并且在交换机中可以实现高达100万条有状态流表的负载均衡,性能已经远超市场上现有的四层负载均衡设备。3.2 高可用设计实现前述的原型设计中,前端只有一台可编程交换机设备,在实际的生产应用中,必须有高可用的保障。由于单台交换机已经能够达到很高的吞吐性能,利用2台可编程交换机,实现主备高可用,所有的服务器均双联至两台交换机,同时出入口的链路也进行双联,如图6所示。

 第2期   涂晓军,等:面向金融云的超高吞吐新型金融DMZ网络 113图6 高可用设计示意图正常状态下,备用交换机的链路上没有流量。当有新的流创建时,控制平面同时写入两台交换机的表项之中,使得备用交换机可以与主交换机拥有相同的流状态表项。当主交换机异常时(通过监控其指标状态),则控制服务器立刻切换出入口的流量到备用交换机。由于备用交换机与主交换机拥有相同的流状态表项,因此连接的出口依旧能够保持,所有的流并不会中断,由此实现平滑切换。3.3 可扩展设计实现在实际的生产应用中,还需要考虑未来的容量可扩展方案。在此提出两种可扩展的方式:一是纵向扩展方法(scaleup),即换用更高规格的交换机。当前12.8Tbit·s-1规格的交换机也已经出现(交换机的规格一般2~3年可以增长一倍),所对应的吞吐能力可以翻番。二是横向扩展方法(scaleout),需要两层的交换机,如图7所示。第一层交换机先依据IP前缀等简单规则对报文先做一次分流到下一级的交换机,下一级的交换机再实现严格的四层负载均衡,由此可以实现整个集群最高十倍以上的横向吞吐扩展。图7 横向扩展示意图4 实现对比与效果图8展现了传统DMZ网络方案与本文所提出的新型DMZ网络方案的实现对比。(a)传统DMZ方案      (b)本文方案图8 实现对比示意图本文方案主要有以下优势:1)单对交换机+服务器集群的极简架构。相较于F5方案,本文方案将F5四层与七层的负载均衡功能分别下沉到交换机与服务器的位置进行处理,构成了单对交换机+服务器集群的极简架构,极大提升了系统的可维护性。2)使用更少的硬件资源。相比传统的方案昂贵的F5专用负载均衡设备,数十台交换机用于流量转发,大量服务器做Web反向代理,本文方案硬件成本仅为F5实现方案的20%。3)实现更好的网络性能。根据实测结果对比,新型DMZ方案达到10倍以上的吞吐量提升,达到Tbit·s-1级别,能有效应对互联网入口的巨大流量。表1对比了本文方案与基于软件转发的实现和专用硬件实现的技术参数与成本[8-10]。表1 DMZ区方案实现对比方案吞吐性能硬件成本可定制性时延/ms本文1Tbit·s-120万灵活<1开源软件解决方案(LVS等)10~20Gbit·s-10灵活10~100国外F5厂商负100Gbit·s-1载均衡设备>100万无法定制需求<15 结 语本文针对现有金融DMZ区域成本高昂、吞吐性能无法水平扩展等问题,提出一种精简架构、超高吞吐的金融DMZ区实现方法,在大幅减小DMZ区部署设备数量与复杂度的同时可以极大地提升吞吐性能;通过一对可编程交换机加服务器集群的精简设备组,实现原有10倍以上的吞吐能力。本文方案中交换机同时(下转第139页)

 第2期   高宗斌,等:基于TYOLOLITE树干检测的模型部署方法2017:133-135.[8]徐敏.从阿里金融云的实践看金融上云的意义和路径J].清华金融评论,2016(11):104-106.[[9]陈磊.5.0V—基于SDN的腾讯次世代数据中心网络架构[EB/OL].(20180130).https://cloud.tencent.com/developer/article/1032288.[10]闫浩.SDN网络与传统网络对比分析[EB/OL].(20170316).https://www.sdnlab.com/18725.html. 139[17]陈江昀.一种基于深度学习的新型小目标检测方法[J].计算机应用与软件,2017,34(10):227-231,247.[18]ZhangJ,HeL,KarkeeM,etal.Branchdetectionwithappletreestrainedinfruitingwallarchitectureusingstereovisionandregionsconvolutionalneuralnetwork(RCNN)[C]//ASABEAnnualInternationalMeeting.Spokane:American,2017:2SocietyofAgriculturalandBiologicalEngineers-11.[19]ShahU,KhawadR,KrishnaKM.Detecting,localizing,andrecognizingtreeswithamonocularMAV:Towardspreventingdeforestation[C]//2017IEEEInternationalConferenceonRoboticsandAutomation.IEEE,2017:1982-1987.[20]陆维娜,胡瑜,叶靖,等.面向卷积神经网络加速器吞吐量优化的FPGA自动化设计方法[J].计算机辅助设计与图形学学报,2018,30(11):2164-2173.[21]张洋硕,苗壮,王家宝,等.基于Movidius神经计算棒的行人检测方法[J].计算机应用,2019,39(8):2230-2234.[22]张云轲,刘丹.基于小型ZynqSoC硬件加速的改进TINYYOLO实时车辆检测算法实现[J].计算机应用,2019,39(1):192-198.[23]RachelH,JonathanP,CuixianC.YoloLITE:Arealtimeobjectdetectionalgorithmoptimizedfornongpucomputers[EB].arXiv:1811.05588v1,2018.(上接第113页)负责转发流程和四层负载均衡,服务器负责七层负载均衡,将原有F5负载均衡的能力分布到了交换机与服务器集群中。同时,还充分利用加密卡、25Gbit智能网卡等硬件设备的加速特性以提升整体集群的性能。参考文献[1]李伟.银行业金融机构实施分布式架构的思考[J].金融电子化,2016(12):19-21.[2]瞿秋平.分布式架构在证券业信息化建设中的规划思考[J].金融电子化,2016(12):17-18.[3]王和.分布式,未来的必然选项———中国人保财险的思考与实践[J].金融电子化,2016(12):14-16.[4]柴洪峰.中国银联专用云的探索与实践[EB/OL].第七届中国云计算大会演讲实录.(20150603).https://www.csdn.net/article/20150603/2824858.[5]McKeownN.Softwaredefinednetworking[C]//InternationalConferenceonComputerCommunications,2009.[6]BosshartP,DalyD,GibbG,etal.P4:Programmingprotocolindependentpacketprocessors[J].ACMSIGCOMMComputerCommunicationReview,2014,44(3):87-95.[7]LeeJ,MiaoR,KimC,etal.Statefullayer4loadbalancinginswitchingASICs[C]//SIGCOMMPostersandDemos,(上接第131页)[11]MusciM,FeitosaRQ,CostaGAOP,etal.Assessmentofbinarycodingtechniquesfortexturecharacterizationinremotesensingimagery[J].IEEEGeoscienceandRemoteSensingLetters,2013,10(6):1607-1611.[12]CaiD,HeX,HanJ.Speedupkerneldiscriminantanalysis[J].TheVLDBJournal—TheInternationalJournalonVeryLargeDataBases,2011,20(1):21-33.[13]BrownM,SüsstrunkS.MultispectralSIFTforscenecategoryrecognition[C]//ComputerVisionandPatternRecognition(CVPR),2011:177-184.[14]SandeKVD,GeversT,SnoekC.Evaluatingcolordescriptorsforobjectandscenerecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(9):1582-1596.[15]YangY,NewsamS.Bagofvisualwordsandspatialextensionsforlanduseclassification[C]//18thSIGSPATIALInternationalConferenceonAdvancesinGeographicInformationSystems,2010:270-279.[16]ZhaoLJ,TangP,HuoLZ.Landusesceneclassificationusingaconcentriccirclestructuredmultiscalebagofvisualwordsmodel[J].IEEEJournalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing,2014,7(12):4620-4631.[17]ZhaoL,TangP,HuoL.A2Dwaveletdecompositionbasedbagofvisualwordsmodelforlandusesceneclassification[J].InternationalJournalofRemoteSensing,2014,35(6):2296-2310.[18]ChenS,TianYL.Pyramidofspatialrelatonsforscenelevellanduseclassification[J].IEEETransactionsonGeoscienceandRemoteSensing,2015,53(4):1947-1957.[19]CheriyadatAM.Unsupervisedfeaturelearningforaerialsceneclassification[J].IEEETransactionsonGeoscienceandRemoteSensing,2014,52(1):439-451.[20]ShaoW,YangW,XiaGS,etal.Ahierarchicalschemeofmultiplefeaturefusionforhighresolutionsatellitescenecategorization[C]//9thInternationalConferenceonComputerVisionSystems,2013:324-333.

本文标签: 交换机实现金融吞吐