百度之星·开发者大赛

访问百度AI

竞赛简介

“用科技让复杂的世界更简单”是百度全新的公司使命，而科技为生活则是我们一直坚信的品牌理念。百度自2017年发起了面向全球AI技术爱好者的深度学习算法竞赛——百度之星开发者大赛，大赛的宗旨是为有创新力、专业性强、富有极客精神和团队合作精神的顶级开发者团队提供真实的数据集、深度学习平台飞桨（PaddlePaddle）、完整技术解决方案和一站式深度学习开发平台AIStudio，降低AI学习门槛，为广大开发者提供交流切磋、施展才能的舞台。

近年来，深度学习技术在很多方向都取得了巨大的成功，尤其是计算机视觉领域，已经实现了广泛的落地和应用，但由于深度神经网络计算复杂度高，模型参数量大，限制了其在一些场景和设备上进行部署，特别是在移动嵌入式设备的部署。因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。

目标检测任务要找出图像中所有感兴趣的目标，确定它们的位置和大小，是计算机视觉领域的几个核心问题之一。由于各类物体有不同的外观、形状、尺度和姿态，加上成像时的光照、遮挡等因素干扰，目标检测一直是计算机视觉领域最具有挑战性的问题之一。基于此，2019百度之星开发者大赛将采用目标检测任务作为今年的竞赛题目。

目标检测算法从最早的Two-Stage算法：RCNN、faster-RCNN等，到Single-Stage算法：YOLO、SSD等，不仅在检测精度上有着巨大的提升，模型的复杂度和计算量也大大减少。即便如此，在移动嵌入式设备上进行实时处理目前仍然是一个巨大的挑战。相比只考虑精度的传统目标检测比赛，本次比赛在关注精度的同时，还将考虑整个算法效率。

本次竞赛的题目和数据由百度视觉技术部提供，深度学习平台飞桨（PaddlePaddle）由深度学习技术平台部提供，一站式深度学习开发平台AIStudio由百度AI技术生态部提供。期待参赛者们能够以此为契机，共同推进目标检测技术和模型小型化技术的发展。欢迎全球范围开发者积极参与，鼓励高校教师积极参与指导。

参赛要求

参赛对象

本次竞赛面向全社会开放，不限年龄、身份、国籍，相关领域的个人、高等院校、科研机构、企业单位、初创团队等人员均可报名参赛。大赛主办单位有机会提前接触赛题和数据的人员不得参加比赛，其他员工可以参与比赛排名，但不领取任何奖项。

参赛要求

（1）可以个人或团队（线下自由组队）形式参赛，每个参赛队伍人数最多不超过5人，允许跨单位自由组队，每人只能参加一支队伍。

（2）参赛选手报名须保证所提供的个人信息真实、准确、有效。

赛题介绍

本次竞赛任务为目标检测，参赛者需要找出所给图像中所有感兴趣的目标，确定它们的位置和大小。参赛者需要提供一个飞桨（PaddlePaddle）模型，模型输出所给图片中每个目标的信息，包括boundingbox（[x0,y0,x1,y1]）、类别信息和分数。

为了减小参赛者接入目标检测任务的成本，本次比赛的训练和测试都使用COCO2017（登录百度账号后下载）目标检测竞赛相同的数据，该数据集包含超过80个类别20万图片的训练、验证和测试数据。比赛期间的排行榜上的模型性能使用2017 val 进行评估，最终结果使用2017 test-dev进行评估（取截止日期后排行榜上前20名进行评估）。

赛程赛制

竞赛分为初赛、决赛两个阶段。在各阶段，参赛队伍须按照要求按时、合规地提交参赛作品。

作品提交规则

初赛期间

参赛队伍须提交的参赛作品内容包括：

（1）参赛系统模型；

（2）源代码（含注释文档Notebook，各阶段比赛截止前提交即可）。

决赛期间

初赛通过人工评估审核的前10名将晋级决赛，晋级团队须通过现场路演汇报的形式，全方位阐述作品实现过程及最终作品。参赛队伍提交的所有参赛资料的知识产权归参赛队伍所有，参赛资料仅用于本次大赛评奖。

提交格式说明

本次比赛要求必须提交使用飞桨（PaddlePaddle）深度学习平台训练的模型。模型文件大小不超过30MB。模型的输出包含bbox、score和background_label，具体如下：

bboxes (Variable): Two types of bboxes are supported:

1. (Tensor) A 3-D Tensor with shape[N, M, 4 or 8 16 24 32] represents thepredicted locations of M bounding bboxes, N is the batch size. Each bounding box has four coordinate values and the layout is [xmin, ymin, xmax, ymax], when box size equals to 4.

2. (LoDTensor) A 3-D Tensor with shape [M, C, 4] M is the number of bounding boxes, C is the class number

scores (Variable): Two types of scores are supported:

1. (Tensor) A 3-D Tensor with shape [N, C, M] represents the predicted confidence predictions.N is the batch size, C is the class number, M is number of bounding boxes. For each category there are total M scores which corresponding M bounding boxes. Please note, M is equal to the 2nd dimension of BBoxes.

2. (LoDTensor) A 2-D LoDTensor with shape [M, C].M is the number of bbox, C is the class number.In this case, input BBoxes should be the second case with shape [M, C, 4].

以上各个输出会作为fluid.layers.multiclass_nms的输入，若对上述输出有疑问，可以参考飞桨（PaddlePaddle）中该op的具体使用文档。评估时，fluid.layers.multiclass_nms中nms的参数固定，以官方给出的工具中的设置为准，不允许参赛者修改。

本次比赛推荐使用SSD框架，详细内容可以参考PaddlePaddle中关于SSD目标检测方法的介绍。

评审规则

自动评审

每支队伍每天参与评测的提交次数不超过5次，排行榜将按照评测分数从高到低排序，并且实时更新。排行榜上只显示每支队伍成绩最好的一次提交结果。各支队伍可在提交结果页面的个人成绩中查看历史提交记录。

评分标准

本竞赛同时考虑模型的计算复杂度和精度，其中计算复杂度使用乘法累加次数（MAdds）计算，精度使用COCO评测集上的mAP，为了平衡模型的计算复杂度和精度，我们根据以往多个模型Madds和对应的mAP拟合了评估曲线。

最终的分数按如下公式计算：

score = mAP - (k * log(MAdd) - a)

k=5.1249，a=14.499，其中mAP为*100后的值（例如20这种），MAdd单位是MOPs，score为最终得分，值越大越好。并且提交模型的计算量需要在[160, 1300] MOPs范围之内，超过1300不算成绩，低于160的按160计算。

另外，考虑到模型参数量化对最终预测速度的实际收益，对于经过int8量化的模型，模型的Madds按原有的0.5倍计算。

所有参与评审的模型必须使用飞桨（PaddlePaddle）深度学习平台或者训练模型。所有参赛团队可使用基于AI Studio平台提供的CPU和GPU训练资源。

百度深度学习平台飞桨（PaddlePaddle），是大规模并行分布式深度学习框架，易学易用、高效灵活，支持海量图像识别分类、机器翻译和自动驾驶等多个领域的业务需求，现已全面开源。

主观评审

2019年9月15日24点初赛截止，竞赛评审委员会将对排行榜上前20名进行最终评估（注意：其中mAP是以在coco 2017 test-dev上评测的结果为准，与排行榜上以coco 2017 val评测不同)，评估结束后，将于2019年9月18日公布排名前10的队伍名单，入围前10的队伍需要在9月23日前将以下材料提交至AI Studio 项目集中：

可复现的算法代码

方法原理介绍文档

竞赛评审委员将对入围队伍提交至项目集的材料进行审核，确认无作弊和材料齐全的队伍将晋级到决赛阶段，否则将取消入围队伍的晋级资格，名额根据初赛最终评估结果顺延。决赛阶段将结合初赛最终评估结果和入围队伍现场路演答辩情况综合评选出最终获奖名单。

Linux开发工具

比赛期间，官方会提供一个Linux平台下的开发工具，包括一个基础的检测模型，工具会加载这个模型并在COCO 2017 val进行评测，输出模型最终的分数（包括mAP和mAdds）。参赛者可将自己的模型集成到工具中并进行全流程的测试，确保模型满足比赛要求。

2019百度之星开发者大赛基线、自动化评测脚本已发布，官方基线下载地址：https://aistudio.baidu.com/aistudio/datasetdetail/7122 点击下载 PaddlePaddle_baseline_model.zip 文件。

自动化评测工具下载地址：https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/Research/astar2019，针对选手反馈通过GitHub clone速度过慢的问题，已将GitHub中的baseline model删掉并上传到百度之星数据集中，点击 https://aistudio.baidu.com/aistudio/datasetdetail/7122 即可下载使用。

PaddleSlim模型压缩工具库

我们推荐参赛者使用模型压缩工具PaddleSlim，PaddleSlim是飞桨（PaddlePaddle）框架的一个子模块。在PaddleSlim中，实现了目前主流的网络剪枝、量化、蒸馏三种压缩策略，主要用于压缩视觉领域模型。详细介绍和使用文档请参考官方文档。