2016年8月5-7日，在美国拉斯维加斯举办的信息安全界顶级赛事—Defcon CTF上，一支名为Mayhem的机器CTF战队与另外十四支人类顶尖CTF战队上演了信息安全领域首次人机黑客对战，并一度超过两只人类战队。该事件在人工智能和信息安全领域的意义，不亚于今年Google AlphaGo战胜李世石，是机器智能开始深入影响信息安全的标志性事件之一。Mayhem的来历，要从美国国防部先进项目研究局（DARPA，Defense Advanced Research Projects Agency）举办的网络超级挑战赛（CGC，Cyber Grand Challenge）说起。
一、比赛背景
DARPA一向有通过举办挑战赛来加速科技实用化的传统，CGC的思路来源于过去成功举办的超级挑战赛。例如：2004首届超级挑战赛的目标是推动无人驾驶技术，参赛者从首次比赛没有任何队伍完成赛程，到后来实现了自动沙漠穿越（2005年）和复杂城市路段自动穿越（2007年）；DARPA举办的另一项知名度较高的比赛是机器人挑战赛DRC(DARPA Robotics Challenge)（2013年）。
CGC是DARPA于2013年发起的全球性网络安全挑战赛，旨在推进自动化网络防御技术发展，即实时识别系统缺陷、漏洞，并自动完成打补丁和系统防御，最终实现全自动的网络安全攻防系统。参赛队伍全部由计算机组成，无任何人为干预。所以，CGC是机器之间的CTF比赛，目标是推进全自动的网络安全攻防系统。
二、比赛简介
CGC的赛程分为两个阶段：初赛（Challenge Qualification Event，CQE）和决赛（Challenge Final Event，CFE）。
1. 比赛时间
初赛：2015年6月3日
决赛：2016年8月4日
图1. CGC比赛时间安排
2. 参赛队伍
初赛阶段的参赛队伍分为资助(Funded Track)和公开(Open Track)两种。Funded Track 是预先向DARPA提交项目申请并获得75万美元资助的团队；共有7支队伍，来自大学研究团队及企业团队。Open Track 则是面向全球公开报名，由民间自由组织的团队；共有队伍近100支，包括至少18支来自欧洲、亚洲等非北美地区的队伍；Open Track 有传统CTF强队（disekt，shellphish等），也有由知名安全企业资助的比赛团队。
在比赛之前，每支参赛团队需要开发一套全自动的网络推理系统CRS（Cyber Reasoning System），需要可对Linux二进制程序进行全自动化的分析和发现其中的漏洞，并自动生成能够触发漏洞的验证代码，自动对程序漏洞进行修补。
3. 赛题与赛规
赛题由主办方（DARPA）开发，针对自动漏洞挖掘所面临的困难所设计。在CGC正式初赛前有2次系统自动化的预演，用来调试系统自动化程度以及与主办方系统对接。
图2. CGC比赛测试题目
（1）初赛
初赛题目为131道存在已知漏洞的Linux二进制程序（无源码），所有程序都存在内存处理方面的漏洞，漏洞种类覆盖 53 个不同类型的CWE（常见缺陷列表）。初赛是一个在线自动分析和异步攻防验证的过程，在指定的24小时内，每支队伍的自动分析系统需要在无人干预的情况下自动从主办方下载应用程序，分析程序查找漏洞，提交可触发漏洞的攻击输入，并提交修补后的加固程序。本次初赛中，开发者预留的590个漏洞，均被参赛队伍成功修补。
主办方对所有提交的攻击输入与加固过的程序在队伍之间进行交叉攻防比较，通过攻防成功率和加固程序的性能综合评测来决定初赛的名次。
（2）决赛
决赛的挑战内容与初赛基本相同，但是引入了线上的实时对抗，是一个在线实时攻防的过程。决赛开始后，主办方会不定时发布新的二进制应用，每个战队的系统需要实时对应用程序进行分析和修补，部署修补后的程序，同时生成攻击程序，提交给主办方。与初赛不同的是，决赛的系统增加了网络防御能力，CRS系统可以自动生成IDS规则，还可以选择攻击目标。另外决赛阶段的攻击输入不再是POC，而是实际可用的Exploit，即它可用直接用于获取程序控制权限或者泄露信息。各队伍的CRS系统在软件层面和网络层面部署防御措施，保护自身的程序不受攻击。
通过综合计算攻击得分、防御得分、以及防御措施引入的性能损失和功能损失，最终评判出优胜队伍。
图3. CGC决赛规则
两轮比赛结束后，参赛队伍需提交技术论文（Technical Paper），文章主要描述参赛队伍所使用CRS；初赛结束后，主办方还将实地访察各参赛队伍的CRS系统。DARPA将以上内容作为排名的重要参考依据。
4. 奖金分配
通过初赛的参赛队伍，Funded Track团队将不再获得奖金，Open Track团队可获得75万美元奖金。
决赛阶段奖金总计 375万美元，其中冠军奖金200万美元，第二名100万，第三名75万，奖金直接发给相应名次的战队。
5. 比赛情况
图4. CGC决赛现场（7台互相对抗的超级计算机）
CGC初赛有104支队伍，进入决赛的七支队伍中，三支来自 Funded Track，四支来自Open Track，均为北美地区参赛队伍。
Funded Track：
- CodeJitsu：由加州大学柏克利分校组成，领队宋晓东教授是华人，清华毕业留学；技术领队张超为蓝莲花队员、北大博士毕业，蓝莲花战队队长杨坤博士（长亭）也是该队核心成员。
- ForAllSecure：来自卡内基梅隆大学的教授创立的公司，成员也大都是来自于卡内基美隆大学CyLab； CTF竞赛的常胜军PPP团队来自该实验室，常年盘据CTFtime第一名的宝座。
- TECHx：由GrammaTech公司（专注于程序分析）和弗吉尼亚大学组成的队伍。
Open Track：
- CSDS：爱达荷大学的教授及其博士后研究员组成的两人团队，此队是唯一重新开发一套工具的队伍。
- DeepRed：成员来自美国一家国防公司Raytheon（雷神），在内存方面有特别研究。
- Disekt：一支CTF战队，对于VM系统有一定了解。该团队由李康教授（蓝莲花启蒙导师）创建和指导，有十几年参赛和团队组织经验， 担任XCTF顾问专家。
- Shellphish：由加利福尼亚大学圣塔芭芭拉分校的学生，不仅是传统的CTF强队，也有晋级今年的Defcon决赛。在网络安全方面的学术研究也相当强大。其团队成员Fish也是蓝莲花前队员。
2016年8月5日，DARPA 官方宣布比赛结果：
第1名： 来自卡内基梅隆大学的ForAllSecure团队研制的Mayhem 系统，获得200万美元奖金；
第2名： 来自GrammaTech公司和弗吉尼亚大学的TECHx团队研制的Xandra 系统，获得100 万美元奖金；
第3名：来自加利福尼亚大学的Shellphish 学生团队研制的Mechanical Phish系统，获得 75 万美元奖金。
随后，在Defcon CTF举办方的正式邀请下，Mayhem系统和全球其他14支顶尖的人类CTF团队同台比拼。在8月6日的比赛中，Mayhem程序曾战胜两支人类黑客战队。黑客机器人能够站上Defcon CTF赛场，已经开创了自动化网络攻防的新局面。
图5. Defcon CTF决赛现场比赛排名（8月6日）
三、总结与思考
1. 我国的差距不容乐观
在CGC网络挑战赛上，两支参赛队伍CodeJitsu和 Disket的领队及部分成员都是华人。此次比赛，华人大放异彩，但是我们也都注意到：参赛队伍都为国外高校或者安全公司团队，但没有来自中国的团队。虽然中国有很强的CTF战队（蓝莲花、0ops等），在XCTF联赛中也成绩斐然（2016年Defcon CTF亚军），但在程序自动化方面存在很大差距，我们应加强相应能力提升及人才培养。
2. 人工智能崛起
深蓝与国际象棋大师、中国超算天梭与象棋大师、认知计算沃森与智力竞赛冠军、阿尔法狗与围棋大师等人机大战已经举行过数次。然而，把计算机程序应用到黑客攻防对抗尚属首次，CGC网络挑战赛是信息安全攻防进入人工智能阶段的一项全新探索，自动化的防御机制将大幅降低攻击和防御之间的时间差，这将会是未来安全的发展趋势。
2015年11月，“硅谷精神教父”凯文·凯利出版的《必然》，认为人工智能与互联网同等重要，将带来人类社会新一次革命。经过六十年的积累，人工智能的寒冬已经过去，随着人工智能三大基石（并行计算、深度学习和大数据）的逐渐成熟和发展，人工智能必将不可阻挡的随之发展。
2016年8月，吴军博士的《智能时代》一书中提到：大数据和机器智能的出现，对技术发展、商业和社会都会产生重大的影响，揭示人类正处于一场大变革的开始。
2016年5月26日，滴滴出行创始人程维断言：互联网时代上半场已结束，下半场属于人工智能，但是也只剩20年。
2016年8月举办的Defcon黑客大会主题也定义为Rise of the Machines（机器的崛起）。
人工智能将发挥着越来越大的作用。CGC比赛促使研究者们进一步开发软件修复机器人，使其能够比人类团队更快、更有效地连续扫描系统缺陷或漏洞，提升在数十亿行代码中迅速修补这些程序缺陷的能力。这有助于强化诸如电力线和水处理设备等基础设施抵抗网络攻击的能力，且随着在线个人设备的增长，也有助于保护隐私。
本文作者：Arilel/CX/Muqq.