1.1 目的与意义
为促进水下机器人敏捷机器人理论、技术与产业的发展，填补水下敏捷机器人抓捕任务评测的空白，本次竞赛紧扣水下机器人抓取任务，针对水下海参、扇贝、海胆感知识别，搭建比赛平台，设计比赛细节，进一步促进研究水下感兴趣目标识别检测算法与技术。竞赛以数据为核心，构建真实近海水下敏捷机器人抓捕的闭环评测平台，实现了虚实融合的水下机器人抓捕场景实时呈现，并融合了裁判主观打分和数据自学习的客观评测模型。竞赛共分为离线测试和在线测试两个阶段。每一阶段都将单独评选出获胜团队。
1.2 竞赛组织单位
本次竞赛由国家自然科学基金委员会主办，大连理工大学和獐子岛集团股份有限公司联合承办。竞赛的筹备得到了獐子岛集团股份有限公司的赞助。竞赛指导专家组，评审团由来自国家自然科学基金委，中科院，中国科学技术大学，香港中文大学，北京邮电大学，大连理工大学等单位的业内权威人士组成，为保证公平、公证，专家评审团成员不参加与自己相关或所在团队的比赛任务评审，采取回避原则。
1.3 竞赛分组
1）目标识别技术组
2）定点抓取技术组
3）自主抓取技术组
2）定点抓取技术组
3）自主抓取技术组
二. 比赛场地网箱布设图
三. 目标识别技术组
3.1 离线测试数据库与竞赛规则
1. 数据库概述
数据库图像与真值内容没有改动，为了规范数据库使用，将格式更新如下：
百度网盘链接地址：https://pan.baidu.com/s/1dFOsl0H 密码: giuh
注意：测试（test）图像不予公开，test文件夹下内容为空
将数据库压缩包解压后文件夹结构如下：
train/
|--image/
|--box/
val/
|--image/
|--box/
test/
|--image/
devkit
|--data
|--evaluation
其中train/image文件夹中包含训练视频。每一视频被分为若干视频片段（以000为起始编号）。同一视频片段的的图像帧保存在同一文件夹下。例如：train/image/G0024172/002/0205.jpg 为视频G0024172的第205帧图像，位于该视频的第002个片段中。其对应的标注位于train/box/G0024172/002/0205.xml文件中。该标注文件包含了对应帧中所有物体的类别以及目标框位置。val/和test/文件夹结构与train/类似。|--image/
|--box/
val/
|--image/
|--box/
test/
|--image/
devkit
|--data
|--evaluation
devkit/包含了用于评测算法性能的代码与数据。其中devkit/data/train.txt文件为所有训练集图片的列表，每一行格式为：“video_name/snippet_id/frame_name image id”。第一项为某一训练图片的路径，第二项为该图片的id。例如：”YDXJ0013/044/4417 17573” 所指代的图像为train/image/YDXJ0013/044/4417.jpg，其id为17573。devkit/data/val.txt 和test.txt与train.txt格式相同，分别是所有验证集和测试集图片的列表。devkit/data/meta_data.mat包含了数据种类的信息，在MATLAB中导入可得如下结构体数组
synsets =
1x3 struct array with fields:
cls_id
name
其中cls_id为类别的标签（1,2,3），name为类别的名字（“scallop”, “seanurchin”, “seacucumber”）。 devkit/evaluation/VOCreadxml.m为用于读取xml标注文件的MATLAB程序。name
2. 评测方法
本竞赛参考了ILSVRC2015 Object Detection任务的评测方法，采用平均准确率AP作为评价指标。（详细说明请参考http://image-net.org/challenges/LSVRC/2015/index#maincomp）给定目标框真值BG与目标种类真值CG，假设算法预测的目标框为B，预测的目标种类为C。当C与CG一致并且目标框BG与B的重叠率(IOU)大于某一阈值时判定该预测为一次准确检测。目标框的重叠率计算方式为:
IOU(B,BG) = (B intersection BG) / (B union BG)
对于大小为m*n的真值目标框，阈值计算方法为
thr = min(0.5, m*n / [(m+10)*(n+10)])
不满足上述条件的检测结果（种类不一致或目标框重叠率低于阈值）将被判为误检。对同一目标的重复检测也将被判为误检。
3. 比赛任务提交格式
参赛算法的预测结果将以一个txt格式的文件提交。文件的每一行对应一个检测到的目标，格式如下：
<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>
其中image_id为测试图片的id号（列于devkit/data/test文件中）, class_id 为物体的种类（参见devkit/data/meta_data.mat）, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。
用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。为了便于理解，我们提供了示例程序devkit/evaluation/demo_eval_det.m。该程序对val集上的预测结果文件devkit/evaluation/demo_val_pred.txt进行评测。
4. 测试环境
所有参赛队现场进行演示，并按照上述格式提交检测结果。提供三台相同配置的PC机用于测试。软硬件配置如下：
CPU： Inteli7-6700@3.4GHz x 8
内存：31GB
GPU： NVIDIA GeForce GTX 1080 ×1
显存： 8GB
硬盘：2TB SSD
操作系统：Ubuntu 14.04 LTS，安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。
内存：31GB
GPU： NVIDIA GeForce GTX 1080 ×1
显存： 8GB
硬盘：2TB SSD
操作系统：Ubuntu 14.04 LTS，安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。
3.2 在线测试竞赛规则
1. 测试环境
在线测试环境由一15m x 15m网箱构成。如下图所示，在网箱的中央0.5m x 12m矩形区域内设立三个检测区域。每个检测区域长2m，检测区域间隔1.5m。在检测区域内随机投放待检测目标。
图1. 离线测试环境
2. 比赛规则
参赛方自带设备，机器人沿导航线通过检测区域，限时完成比赛（由于自备的机器人中处理器水平不一致，考虑调整不同参赛方的限时情况）。采用分段计数，检测过程结束后各参赛队提交在每个检测区检测到的各种类目标数，以及各种类目标在所有检测区的检测总数。提交格式与标注格式见下表。与此同时，要求参赛机器人能够保存视频，上岸后提交给裁判组，用于评价。
表1. 目标数分段预测值（参赛方提交）
| 类别 | 检测区1 | 检测区2 | 检测区3 | 总数 |
| 海参（类1） | t11 | t12 | t13 | t1 |
| 扇贝（类2） | t21 | t22 | t23 | t2 |
| 海胆（类3） | t31 | t32 | t33 | t3 |
| 类别 | 检测区1 | 检测区2 | 检测区3 | 总数 |
| 海参（类1） | g11 | g12 | g13 | g1 |
| 扇贝（类2） | g21 | g22 | g23 | g2 |
| 海胆（类3） | g31 | g32 | g33 | g3 |
评测的规则如下。总数精度为评判标准，分段计数为过程参考。限时完成比赛任务，超时部分判为未成功召回。裁判组通过审核识别过程的视频回放和分段计数结果对最终结果的有效性进行判定。排序采用精度优先原则。采用如下加权平均误差形式，误差越小越准确。
精度完全相同时，耗时少者排序靠前。
四. 定点抓取技术组
1. 机器人须满足如下指标
6. 特殊情况说明
五. 自主抓取技术组
1. 机器人须满足如下指标
利用机器人的自主移动实现定点自主抓取，综合评测机器人的移动能力与抓取能力。
3. 比赛内容
水池中4个矩形区域(大约0.5m×2m的4个区域，在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥，该区域背景色暂定为红色，待上岛测试视效果定)放置不同数量的海参、扇贝、海胆，机器人在规定的时间内在水池中移动并抓取海产品，抓取的数量越多、种类越多，则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点，计分规则中的数量以送回岸上指定地点的海产品数量为准。
4. 具体比赛参数
客观评价（70%）与主观评价（30%）相结合的方法。
假设机器人体积为A，重量为B，抓取海参数量为H1、扇贝数量为H2、海胆数量为H3，所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4，其中，权重系数a1=1，a2=1.2，a3=1.5（具体权重参数待定）。客观分数计算参考如下表格：
主观评价规则：
6. 特殊情况说明
精度完全相同时，耗时少者排序靠前。
四. 定点抓取技术组
1. 机器人须满足如下指标
1）单个机器人的体积不得超过1.5m3（本体）
2）机器人可以为有缆遥控或无缆遥控机器人
3）无缆遥控机器人需要确保在水下能够建立通信
4）机器人要具备一定的负载能力（10kg)
5）传感器：不限定，指标打分（重能力）
2）机器人可以为有缆遥控或无缆遥控机器人
3）无缆遥控机器人需要确保在水下能够建立通信
4）机器人要具备一定的负载能力（10kg)
5）传感器：不限定，指标打分（重能力）
2. 比赛要求
利用机器人的移动实现定点抓取，综合评测机器人的移动能力与抓取能力。
3. 比赛内容
3. 比赛内容
水池中4个矩形区域(大约0.5m×2m的4个区域，在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥，该区域背景色暂定为红色，待上岛测试视效果定)放置不同数量的海参、扇贝、海胆，机器人在规定的时间内在水池中移动并抓取海产品，抓取的数量越多、种类越多，则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点，计分规则中的数量以送回岸上指定地点的海产品数量为准。
4. 具体比赛参数
4. 具体比赛参数
比赛时长：待定，30--50分钟；
种类：海参、扇贝、海胆三类。
5. 比赛得分计算方法
种类：海参、扇贝、海胆三类。
5. 比赛得分计算方法
客观评价（70%）与主观评价（30%）相结合的方法。
假设机器人体积为A，重量为B，抓取海参数量为H1、扇贝数量为H2、海胆数量为H3，所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4，其中，权重系数a1=1，a2=1.2，a3=1.5（具体权重参数待定）。客观分数计算参考如下表格：
假设机器人体积为A，重量为B，抓取海参数量为H1、扇贝数量为H2、海胆数量为H3，所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4，其中，权重系数a1=1，a2=1.2，a3=1.5（具体权重参数待定）。客观分数计算参考如下表格：
| 评价参数 | 计算公式 | 得分占总比 |
| 抓取能力 | 60×(a1×H1+a2×H2+a3×H3)/H4 | 60% |
| 机器人体积 |
A≤1m3得5分 1.5m3≥A＞1m3得3分 A＞1.5m3得0分 |
5% |
| 机器人重量 |
B≤100kg得5分 120kg≥B＞100kg得3分 B＞120kg得0分 |
5% |
主观评价规则：
| 评价参数 | 描述 | 得分占总比 |
| 技术整体评价 | 机器人采用的技术的先进性、自主研发技术占比、抓取海产品的质量 | 20% |
| 成本 | 机器人成本 | 5% |
| 应用性 | 推广应用能力 | 5% |
1）机器人出现故障，比赛无法进行则视为成绩无效
2）鼓励自主研发，体现自主技术
3）鼓励低成本，体现成本公平性
2）鼓励自主研发，体现自主技术
3）鼓励低成本，体现成本公平性
五. 自主抓取技术组
1）单个机器人的体积不得超过1.5m3（本体）
2）机器人需要自主移动及抓取，不得人为控制（包括有缆及无缆）
3）机器人要具备一定的负载能力（10kg) ，自带网容器（用于存放抓取的海产品），自带录像功能（比赛结束后提供给裁判组以判定定点遍历情况）。
4）传感器：不限定，指标打分（重能力）
2. 比赛要求2）机器人需要自主移动及抓取，不得人为控制（包括有缆及无缆）
3）机器人要具备一定的负载能力（10kg) ，自带网容器（用于存放抓取的海产品），自带录像功能（比赛结束后提供给裁判组以判定定点遍历情况）。
4）传感器：不限定，指标打分（重能力）
利用机器人的自主移动实现定点自主抓取，综合评测机器人的移动能力与抓取能力。
3. 比赛内容
水池中4个矩形区域(大约0.5m×2m的4个区域，在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥，该区域背景色暂定为红色，待上岛测试视效果定)放置不同数量的海参、扇贝、海胆，机器人在规定的时间内在水池中移动并抓取海产品，抓取的数量越多、种类越多，则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点，计分规则中的数量以送回岸上指定地点的海产品数量为准。
4. 具体比赛参数
比赛时长：待定，30--50分钟；
种类：海参、扇贝、海胆三类。
5. 比赛得分计算方法种类：海参、扇贝、海胆三类。
客观评价（70%）与主观评价（30%）相结合的方法。
假设机器人体积为A，重量为B，抓取海参数量为H1、扇贝数量为H2、海胆数量为H3，所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4，其中，权重系数a1=1，a2=1.2，a3=1.5（具体权重参数待定）。客观分数计算参考如下表格：
| 评价参数 | 计算公式 | 得分占总比 |
| 抓取能力 | 60×(a1×H1+a2×H2+a3×H3)/H4 | 40% |
| 移动能力 | 规定时间内自主遍历4个点得20分；3个点得15分；2个点得10分；1个点得5分；没到任何定点得0分。 | 20% |
| 机器人体积 |
A≤1m3得5分 1.5m3≥A＞1m3得3分 A＞1.5m3得0分 |
5% |
| 机器人重量 |
B≤100kg得5分 120kg≥B＞100kg得3分 B＞120kg得0分 |
5% |
| 评价参数 | 描述 | 得分占总比 |
| 技术整体评价 |
|
30% |
1）机器人出现故障，比赛无法进行则视为成绩无效
2）鼓励自主研发，体现自主技术
3）鼓励低成本，体现成本公平性
2）鼓励自主研发，体现自主技术
3）鼓励低成本，体现成本公平性
