ITPub博客

首页 > 数据库 > 数据库开发技术 > wtf?又是你,神州?

wtf?又是你,神州?

原创 数据库开发技术 作者:quincyqiang 时间:2022-07-26 21:51:34 0 删除 编辑

    本来都快忘了这个比赛了,今天看到这个知乎是真的绷不住了。原本以为只有赛道三是这个样子,没想到整个比赛都透露着一股子不正常的气息。 这里放几个知乎老哥的图。

知乎原文:https://www.zhihu.com/question/545440067/answer/2594051436

    说回赛道三,比赛开始就把测试集的label放了出来,然后没过几天,又突然说不能用测试集的标签,又重新发了一份不带label的测试集,然而这其中很多人可能都已经下载了好了标签,奇特的是数据居然没换,wtf?

    当我们勤勤恳恳地,生怕3次机会用完了,在不断尝试的时候,突然看到老肥的文章,我又一次wtf?神州信息金融科技校园极客大赛TOP baseline

    吓得我赶紧去看一眼我的模型,我用的cbt,这个题目有很多就是分布不一致的特征,有点和招商银行的比赛很像。我的线下训练集的auc只有696,我当时还以为没有很高,应该不能说我过拟合或者怎么了吧?最可气的是,他们周六周日还不上班,周日是10号,截至也在10号,所以意味着11号他们上班检查结果的时候,已经没机会再修改了,提交不了了,wtf?办比赛还带休假的,那你别把周末算到比赛提交日子里面啊。然后我们在10号的晚上压哨提交了一发我们觉得不错的结果,当然也有可能拉垮了。第二天,收到官方hr的信息说让提供auc和训练集的训练图,我就把自己跑的cbt的图给了他们。(好生气,当时退群了,删人了,好多记录没保存)

    我当时就炸毛了,卧槽,训练集结果低不是很正常的吗?高了你说不行,低了你说不行。话都让你们说完了,我就说那个技术专家说的,拉个群,我来和他交流,然后群也没拉,丢给我一句,专家说:训练集分数低是因为做特征的时候用到了测试集的信息,所以才会训练集低,测试集高。并丢给我一张前排不知道那个队伍,训练0.83,测试0.82的图,告诉我这才是正常的,哇哦!!!

    几个问题:1. 规则里哪里写了不让用测试集做特征了,明明只说了不让用test的标签。2. 如果是由于规则不清晰导致的选手误解难道不应该官方自己澄清并给予选手纠正的机会吗?你要是比赛开始就说不让用,那我们打死都不会用啊。3. 训练集低,你说用测试集了,训练集高,你也说用测试集了。严格来说我们代码里面根本就没有测试集的特征,做对抗都筛选掉了,因为只做了count,nunique,但是官方并不听我们,而且也已经11号了。wtf。4. 训练0.83,测试0.82的老哥是真的牛逼。

    所以专家还是专家,人肯定不信我们这些选手的。在群里质疑了半天,专家也不出来给个解释,这大概就是“解释权归主办方”吧。


    这种比赛真的只会起到反面宣传作用。以上吐槽纯属开玩笑哈,大家就当听段子讲笑话。

    当然说回这个比赛,真没啥做的,几乎没有做特征,里面有毒特征,用对抗筛选一遍,然后画图在筛选一遍,我估计我们最后一发应该挺高的。然后lightgbm线下会比cbt的线下高很多。但愿以后能有一些正常的比赛,对选手友好一点。

原文作者:ChallengeHub;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2019-01-07

  • 博文量
    350
  • 访问量
    160927