产品观察

下一代防火墙的按照生产厂商背景分为数通厂商和安全厂商，数通厂商代表有华为、Cisco、H3C 、山石、Juniper、迪普等，安全厂商有绿盟、启明/网御、安恒、天融信、深信服、360 网神等。按照架构分，主要有多核和X86两个大类，有些厂商会宣称自己的产品用了一些神奇的技术，归根结底也是跑不出这两种架构的，架构本身其实也没有好坏之分，下面我们的评测方法只看效果，不管使用何种技术，也不论是国产进口，更不管是哪家生产的。

如何评价防火墙的效果？其实一点都不难，既然是下一代防火墙，ACL肯定都有的，咱们就不比了，直接考察病毒检出率、入侵防御成功率和协议检查率就可以了。但是，这里要注意，有句话说得好，抛开剂量谈毒性都是耍流氓，防火墙只有达到了必要的吞吐量，再比较这些指标才有意义，吞吐量上不去，防火墙真的成了墙，正常流量都过不去，还谈什么安全。
所有防火墙厂商都会标称一个网络层性能，比如整机10G吞吐，这说的是所有端口的进入这个防火墙加起来的流量可以达到10Gbps ，注意，这一定是没有开AV、DPI、IPS 这三个功能的，甚至没有加载 ACL，相当于手机的待机时间，测量时不得使用的。同时开启了AV、DPI 、IPS 这三个功能的，称为应用层性能，测试出来大概也就是网络层性能的10%，好的厂商大概在20% ，差的不到5% ，水份极大。这就好比待机时间200小时的手机，一旦打电话玩游戏，2 小时就没电了。既然我们的防火墙是买了用的，不是摆着看的，应当直接忽略网络层性能，我们这次测试，实际上最重要的工作就是帮这些厂商挤挤水份，测出真正的应用层性能。
言归正传，我司作为国内一家科技水平和网络安全水平处于行业领导地位的大厂，组织了一场防火墙选型测试，报名厂商踏破门槛啊。首先我们租来一台思博伦C100，其实是最低端的测试仪表，只能打10G 流量，但是对付那些防火墙厂商绰绰有余，把其中一个厂商的最高端的防火墙打到瘫痪(这是后话了)… 然后，很重要，我们有工程师会操作这个C100 设备噢，很少有甲方工程师会操作这个东西的，甚至这样的第三方公司都很少。
插入普及一个科学小知识，吞吐量=包转发性能+包长，背景流，也就是我们模拟的正常流量，我们会采用一个最接近日常流量的 iMix包。

iMix=(40-64)byte*7+(576-594)byte*4+ (1500-1518)byte*1 

下面来谈谈测试过程中和厂商斗智斗勇的故事。
第一回合，更换特征库
开工，要求厂商把设备怼上去，AV、DPI、IPS 全开，开炮，直接就挂了，丢包率35%。

厂商销售马上跟你沟通，表示设备没有调试好，工程师要调一调，请给个机会。没办法，平时大家关系都挺好，调一调吧。
这时厂家工程师从容的从口袋里掏出了一个IPS与AV的小规则库，那么这样就可以做到既打开了各种防火墙功能，不用过度占用防火墙资源。然后请求再测，好，再测通过测试，表现完美。

但是这招too young，too simple，我们甲方测试人员也不是傻子啊，再测一遍IPS 和AV检出率，从原来的90%多变成了20% 多，小规则库肯定是不行的。我们的攻击库其实是 2015年的，这样的老库你都搞不定，那可只能呵呵了。
第二回合，阻断目的地址
销售又出现了，说刚才工程师不小心把规则库灌错了，再给他们一次机会吧。好吧好吧，谁让咱之前吃过你的饭呢，再来。
这里插个小知识，我们在测试AV/IPS检出率时，是通过发送病毒报文以及攻击报文通过防火墙，看看防火墙阻断几个，然后计算阻断率。我们一般把正常包的目的地址和攻击包分开，这样比较好计算，这就给了厂商工程师可趁之机。
厂商工程师对防火墙一阵摆弄，偷偷通过防火墙端口抓包查看测试仪表的攻击目标IP，从而在防火墙内添加一条ACL——但凡想去目标 IP的数据包全都实施阻断，这样在检测IPS，AV的时候就可以大大降低防火墙的性能消耗，同时也提高了 IPS与AV的检出率，销售口中的高性能也就得到了“实现 ” 。
调试好了，请我们测试，第一次，IPS检出率(绿圈) 为99.95%，完美啊，怎么这么牛B，这么好的入侵防御我没见过呢。

那么，我们试试把背景流量打25%给那个收病毒的目标地址，what？ 正常包(黄圈)也几乎全部被阻断了…

来来来，这位销售我们谈一谈，公然作弊啊，主动退场吧。
第三回合，阻断目标端口
IPS/AV攻击总是要基于TCP/UDP的一些端口进行攻击，通常我们在进行病毒攻击时，通过smtp协议发送病毒，就会用到 25端口，有一家厂商工程师在发现这一情况以后，在IPS规则库中增加一条规则——只要是通过 25端口发送的数据包全阻断。这一招与上一招阻断目标地址基本是相同的，都为了降低防火墙的性能消耗，并提高检出率，可以说是上一招的进化版。

对于这一招术，我们应该怎么防范呢？当你怀疑厂家的指标造假时（如检出率过高达到100%），可以偷偷的将病毒报文通过别的端口来发送，在仪表上换端口是很方便的，如果厂商工程师用了这一招，你就会发现，相同的病毒包，在换端口前与换端口后，从93% 暴降到18.9%，如下图：

调整前

调整后
好吧，又一个厂商表示主动退场，不要追求他们的作弊行为。
第四回合，阻断攻击协议
又一个厂商登场了，我都开始怀疑这些厂商其实私下是串通的，这个厂商居然通过阻断协议来提高检出率。
刚才我们提到，在检测AV检出率时，我们采用邮件发送的方式，将病毒发送给防火墙检测。该端口被抓后，这个厂商居然直接在DPI上，将带有邮件特征值的数据包直接归类为病毒的一类，这就厉害了，病毒只要是通过邮件发送就会被防火墙阻断下来。检出效果好，还不容易被发现。
开始我们都被蒙过去了，直到后来我们发现，由于加了这个配置，他们在测DPI时就不能正确识别SMTP 协议了，我们就在想，这个协议怎么会不认识呢，然后就抱着试试看的心态，打了一串正常邮件包过去，然后也被阻断了，bingo，销售快来，作弊抓现行了。
整个测试过程，真的是斗智斗勇的过程。你可能会说，要求厂商初始配置好，然后就不能触碰设备，那样就能防止作弊。但实际测试环境中，虽然甲方时刻在现场监督，但由于场地和时间的限制，很多案例都是一边配置一边测试的，有的厂商甚至留个3Gmifi 在管理口远程偷偷配置，都是很难预防的。再则，销售们平时关系都不错，求求你给个机会，也抹不下脸的。在工程师被抓到作弊后，大部分销售都会态度诚恳来认错，希望不要曝光，也有销售居然厚着脸皮说，这是我司的企业文化啊… 天哪，居然还有这么不要脸的公司。
作为甲方的安全负责人，我今天写这篇文章呢，其实主要还是希望给各位同行一点警示，各位安全岗位工作者在日夜防备黑客攻击的同时，还要小心一些黑心销售的夸夸其谈。由于大部分甲方安全从业人员没有能力做防火墙的验证测试，无法靠实力去伪存真，现在安全厂商可谓鱼龙混杂，包括一些知名厂商，也是“人有多大胆，地有多大产”，靠着吹牛卖产品，虚标性能已成惯例。
结论：
我们整体测试下来，发现除个别厂商比较差，无论如何其IPS检出率都低于40%，大部分厂商的商用IPS/AV 库的检出率在75-80%，保持这个检出率水平，我们将设备性能拉平，然后各家再投标，数通厂商的价格不到安全厂商的一半。
下一代防火墙这个产品，数通厂商完胜。