ITPub博客

首页 > 数据库 > 数据库开发技术 > DC梧桐杯准确优美的评分机制

DC梧桐杯准确优美的评分机制

原创 数据库开发技术 作者:quincyqiang 时间:2022-05-20 10:07:37 0 删除 编辑

浙江乡村赛道:

https://challenge.datacastle.cn/v3/cmptDetail.html?id=626

5月18号终于迎来了浙江乡村梧桐杯激动人心的B榜时刻,

1)看到B榜换了评价指标,表示理解,主办方想看选手模型能力嘛[狗头]

2)给了一个label,要选手预测两个目标?咱也接受,毕竟大家都一样,分低一起分低。

看到评分机制我忍不了了?这里的公平性呢?官方评分机制如下:

为了统一评分量度,我们将B榜规则更新如下:
score_点击率 = 选手预测正确的user_id数量 / 实际的用户点击数量(范围0~1)
score_到场率 = 选手预测正确的user_id数量 / 实际的用户到场数量(范围0~1)
score_B = score_点击率 * 20 + score_到场率 * 30
B榜排行榜将会显示socre_B的得分,范围0~50。
最终成绩会等B榜结束后,运营人员根据:最终成绩=A榜成绩*50+B榜成绩,将选手的成绩核算后,得出最终的总成绩。

我理解主办方的本意是A榜、B榜权重一样,本着这样的初衷,我们来看一下这里存在多少问题呢?

  • 问题1:A榜选手前排利用leak,几乎达到满分(0.98),换算之后也就是49分;B榜换算之后第一名22分,这能是一个起点的吗?

    • (当然主办方以为选手能够在3发之内、在给一个label的情况,做到点击率、到场率几乎满分0.9999,谁知道选手这么不争气,两个指标平均0.5分都不到)
  • 问题二:既然都知道a榜选手利用了leak,还给a榜这么高的权重,变相认可泄漏的方案吗?

很多选手在群里表达这样的评分机制,b榜都没有必要做了,直接让a榜选手进复赛就行,何必多此一举,浪费选手三天宝贵的时间???你开b榜的目的是什么???但是没有负责人回应??

比赛还在进行,希望DC负责人&梧桐杯主办方给出一个合理的评分机制!

相关信息

  • 关于泄漏(榜一选手的回应)

  • A榜成绩

  • B榜成绩


原文作者:ChallengeHub;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2019-01-07

  • 博文量
    350
  • 访问量
    160921