2017 中文网站 | 2018 中文网站 | 2018 英文网站 | 2019 中文网站 | 2019 英文网站 | 最新年度官网
大会要闻
大赛闭幕式花絮
查看详情 >>
大赛宣传视频
查看详情 >>
大连经济报道大赛情况
查看详情 >>
大会要闻
您现在的位置> 主页 > 大会要闻 >

URPC2018规则与说明

文章来源:未知 发布时间:2018-07-07 15:42 点击量:

 注:9月下旬比赛海域的数据:水温19到21度之间,盐度千分之32左右,海流在2节以内,透明度大约在2到5米。
 
 

1 竞赛背景

1.1 目的与意义

        为促进水下机器人敏捷机器人理论、技术与产业的发展,填补水下敏捷机器人抓捕任务评测的空白,本次竞赛紧扣水下机器人抓取任务,针对水下海参、扇贝、海胆感知识别,搭建比赛平台,设计比赛细节,进一步促进研究水下感兴趣目标识别检测算法与技术。竞赛以数据为核心,构建真实近海水下敏捷机器人抓捕的闭环评测平台,实现了虚实融合的水下机器人抓捕场景实时呈现,并融合了裁判主观打分和数据自学习的客观评测模型。
 

1.2 竞赛组织单位

        本次竞赛由国家自然科学基金委员会主办,大连理工大学和獐子岛集团股份有限公司联合承办。竞赛的筹备得到了獐子岛集团股份有限公司的赞助。竞赛指导专家组,评审团由来自国家自然科学基金委,中科院,中国科学技术大学,香港中文大学,北京邮电大学,大连理工大学等单位的业内权威人士组成,为保证公平、公证,专家评审团成员不参加与自己相关或所在团队的比赛任务评审,采取回避原则。

1.3 竞赛分组

1) 目标识别技术组
2) 定点抓取技术组
3) 自主抓取技术组

 

2 比赛场地网箱布设图



 
 

3 目标识别技术组

3.1 水下目标检测数据库说明

    将数据库压缩包解压后文件夹结构如下:
 
train/
|--image/
|--box/
val/
|--image/
|--box/
test/
|--image/
devkit
|--data
|--evaluation
        其中train/image文件夹中包含训练数据。所有训练数据按视频片段进行划分文件夹便于分类存储,但不存在帧间连续性。例如:train/image/G0024172/0205.jpg 为视频G0024172的第205张图像,其对应的标注位于train/box/G0024172/0205.xml文件中。该标注文件包含了对应图像中所有物体的类别以及目标框参数(位置和尺寸)。val/和test/文件夹结构与train/类似。
        devkit/包含了用于评测算法性能的代码与数据。其中devkit/data/train.txt文件为所有训练集图片的列表,每一行格式为:“video_name/frame_name    image id”。第一项为某一训练图片的路径,第二项为该图片的id。例如:”YDXJ0013/4417  17573” 所指代的图像为train/image/YDXJ0013/4417.jpg,其id为17573。所有图像以及id命名都从1开始。devkit/data/val.txt 和test.txt与train.txt格式相同,分别是所有验证集和测试集图片的列表。devkit/data/meta_data.mat包含了数据种类的信息,在MATLAB中导入可得如下结构体数组
synsets =
1x3 struct array with fields:
cls_id
name
其中cls_id为类别的标签(1,2,3),name为类别的名字(“scallop”, “seanurchin”, “seacucumber”)。 devkit/evaluation/VOCreadxml.m为用于读取xml标注文件的MATLAB程序。
 

3.2 离线检测竞赛规则

        本竞赛参考了ILSVRC2015 Object Detection任务的评测方法,采用平均准确率AP作为评价指标。(详细说明请参考http://image-net.org/challenges/LSVRC/2015/index#maincomp)给定目标框真值BG与目标种类真值CG,假设算法预测的目标框为B,预测的目标种类为C。当C与CG一致并且目标框BG与B的重叠率(IOU)大于某一阈值时判定该预测为一次准确检测。目标框的重叠率计算方式为:
                  IOU(B,BG)  =  (B intersection BG)  /  (B union BG)
对于大小为m*n的真值目标框,阈值计算方法为
                  thr = min(0.5,  m*n / [(m+10)*(n+10)])
不满足上述条件的检测结果(种类不一致或目标框重叠率低于阈值)将被判为误检。对同一目标的重复检测也将被判为误检。
        精度完全相同时,耗时少者排序靠前。
 
3.2.1 比赛任务提交格式
        参赛算法的预测结果将以一个txt格式的文件提交。文件的每一行对应一个检测到的目标,格式如下:
<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>
        其中image_id为测试图片的id号(列于devkit/data/test文件中), class_id 为物体的种类(参见devkit/data/meta_data.mat), confidence为算法对于这一预测的置信度,xmin ymin为目标框左上角点坐标,xmax ymax为目标框右下角点坐标。
        用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。为了便于理解,我们提供了示例程序devkit/evaluation/demo_eval_det.m。该程序对val集上的预测结果文件devkit/evaluation/demo_val_pred.txt进行评测。
 
3.2.2 测试环境
        所有参赛队现场进行演示,并按照上述格式提交检测结果。提供三台相同配置的PC机用于测试。软硬件配置如下:
CPU: Intel i7-6700@3.4GHz
内存:32GB
GPU: NVIDIA GeForce GTX 1080
显存: 8GB
硬盘:2TB SSD
操作系统:Ubuntu 14.04 LTS,安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。

 
 

4 定点抓取技术组

(1) 机器人须满足如下指标

1) 单个机器人的体积不得超过1.5m3(本体);
2) 机器人可以为有缆遥控或无缆遥控机器人;
3) 无缆遥控机器人需要确保在水下能够建立通信;
4) 机器人要具备一定的负载能力(10kg) ,机器人和网兜可以分离,但比赛结束前机器人和网兜必须回到指定位置;
5) 机器人必须用抓取式,不能用吸取式;
6) 传感器:不限定,指标打分(重能力)。

 
(2) 比赛要求及规则
 
        评判标准:利用机器人的移动实现定点抓取,综合评测机器人的移动能力与抓取能力。
        比赛规则:
1)参赛人数:每个参赛队最多参赛人数6人(含1名指导教师),其中1名参赛队员为主会场视频中心播报员,通过对讲机与船上队员通信,播报定点任务的完成情况,赛会方提供对讲机。为安全起见,所有参赛队员必须身穿救生衣(播报员除外),否则取消比赛资格。
2)功耗限制:参赛队所有设备30分钟内不超过1度电,若超过功率限制,则做扣分处理。
3)比赛时间:定点抓捕时间30分钟,设备调试、准备时间20分钟,超时扣分。
4)比赛地点:比赛开始前,机器人需自行游至水下机器人出发区,机器人自行钻入比赛网箱;比赛结束后,机器人自行返回结束地点。
5)潜水员辅助:比赛过程中,仅当机器人机械故障、机器人水下受困时潜水员出动。
6)赛事设备:主办方提供220v发电机、不提供吊车。
7)不可抗力:比赛过程中如遇到极端天气、意外事故时、发电机故障等极端情况时,经裁判组协商,可暂定或重新计时。
8)赛事纪律:比赛过程中,若出现辱骂、顶撞、侮辱裁判现象,裁判组有权取消该队比赛资格。
9)终止比赛:比赛过程中,机器人出现机械故障时,参赛队可与裁判组协商,主动终止比赛或放弃比赛。
 
(3) 比赛内容

        水池中4个矩形区域(大约0.5m×2m的4个区域,在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥,该区域用电子装置自动识别机器人是否进入该区域。)放置不同数量的海参、扇贝、海胆,机器人在规定的时间内在水池中移动并抓取海产品,抓取的数量越多、种类越多,则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点,计分规则中的数量以送回岸上指定地点的海产品以及机器人最后出水时自身携带的海产品总数量为准。

(4) 具体比赛参数

        比赛时长:30分钟;
        种类:海参、扇贝(空扇贝无效)、海胆三类。

(5) 比赛得分计算方法

        客观评价(70%)与主观评价(30%)相结合的方法。
        假设机器人体积为A,重量为B,抓取海参数量为H1、扇贝数量为H2、海胆数量为H3,所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4,其中,权重系数a1=2,a2=1,a3=1(海参权重为2,海胆和扇贝权重为1)。客观分数计算参考如下表格:
  评价参数 描述 得分
客观评价 抓取能力(50分)
(该项仅由现场裁判打分)
类别 抓捕个数  
海参(个)  
扇贝(个)  
海胆(个)  
移动能力(30分) 30分钟内自主遍历4个点得30分;每个点7.5分.  
主观评价 产品完整性
(该项仅由现场裁判打分)
所抓取海产品的完整性。(10分)。  
综合评价 机器人技术、机器人动作、机器人性能等综合评价(10分)  
 
(6) 特殊情况说明

1) 机器人出现故障,比赛无法进行则视为成绩无效
2)鼓励自主研发,体现自主技术
3)鼓励低成本,体现成本公平性

 
 

5 自主抓取技术组

(1) 机器人须满足如下指标

1) 单个机器人的体积不得超过1.5m3(本体)
2) 机器人需要自主移动及抓取,不得人为控制(包括有缆及无缆)
3) 机器人要具备一定的负载能力(10kg) ,自带网兜容器(用于存放抓取的海产品),自带录像功能(比赛结束后提供给裁判组以判定定点遍历情况)。机器人和网兜可以分离,但比赛结束前机器人和网兜必须回到指定位置。
4) 机器人必须用抓取式,不能用吸取式。
5) 传感器:不限定,指标打分(重能力)

 
(2) 比赛要求

比赛规则:
1)参赛人数:每个参赛队最多参赛人数6人(含1名指导教师),其中1名参赛队员为主会场视频中心播报员,通过对讲机与船上队员通信,播报定点任务的完成情况,赛会方提供对讲机。为安全起见,所有参赛队员必须身穿救生衣(播报员除外),否则取消比赛资格。
2)功耗限制:参赛队所有设备30分钟内不超过1度电,若超过功率限制,则做扣分处理。
3)比赛时间:定点抓捕时间30分钟,设备调试、准备时间20分钟,超时扣分。比赛开始后,参赛队员禁止使用控制设备操纵机器人。
4)比赛地点:比赛开始前,机器人需自行游至水下机器人出发区,机器人自行钻入比赛网箱;比赛结束后,机器人自行返回结束地点。
5)潜水员辅助:比赛过程中,仅当机器人机械故障、机器人水下受困时潜水员出动。
6)赛事设备:主办方提供220v发电机、不提供吊车。
7)不可抗力:比赛过程中如遇到极端天气、意外事故时、发电机故障等极端情况时,经裁判组协商,可暂定或重新计时。
8)赛事纪律:比赛过程中,若出现辱骂、顶撞、侮辱裁判现象,裁判组有权取消该队比赛资格。
9)终止比赛:比赛过程中,机器人出现机械故障时,参赛队可与裁判组协商,主动终止比赛或放弃比赛。
 
        利用机器人的自主移动实现定点自主抓取,综合评测机器人的移动能力与抓取能力。

(3) 比赛内容

        水池中4个矩形区域(大约0.5m×2m的4个区域,在15m×15m场景中的具体位置请参考比赛场景布置图中的①③④⑥,该区域用电子装置自动识别机器人是否进入该区域。)放置不同数量的海参、扇贝、海胆,机器人在规定的时间内在水池中移动并抓取海产品,抓取的数量越多、种类越多,则得分越高。机器人需要在比赛结束前将抓取的海产品送回岸上指定地点,计分规则中的数量以送回岸上指定地点的海产品以及机器人最后出水时自身携带的海产品总数量为准。

(4) 具体比赛参数

         比赛时长:30分钟;
         种类:海参、扇贝、海胆三类。

(5) 比赛得分计算方法

        客观评价(70%)与主观评价(30%)相结合的方法。
        假设机器人体积为A,重量为B,抓取海参数量为H1、扇贝数量为H2、海胆数量为H3,所有参赛队伍抓取能力单项分(a1×H1+a2×H2+a3×H3)得分最高者的分数作为归一化因子H4,其中,权重系数a1=2,a2=1,a3=1(海参权重为2,海胆和扇贝权重为1)。客观分数计算参考如下表格:
  评价参数 描述 得分
客观评价 抓取能力(50分)
(该项仅由现场裁判打分)
类别 抓捕个数  
海参(个)  
扇贝(个)  
海胆(个)  
移动能力(30分) 30分钟内自主遍历4个点得30分;每个点7.5分  
主观评价 产品完整性
(该项仅由现场裁判打分)
所抓取海产品的完整性。(10分)。  
综合评价 机器人技术、机器人动作、机器人性能等综合评价(10分)  
 
(6) 特殊情况说明

1) 机器人出现故障,比赛无法进行则视为成绩无效
2) 鼓励自主研发,体现自主技术
3) 鼓励低成本,体现成本公平性

 
 
地址:中国·大连经济技术开发区图强街321号 邮编:116024
版权所有:大连理工大学软件学院 技术支持:集群智慧 英文网站English