云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口

开yun体育网(这亦然一齐最低分的最进攻极少)-云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口
你的位置:| 云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口 > 新闻 > 开yun体育网(这亦然一齐最低分的最进攻极少)-云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口

开yun体育网(这亦然一齐最低分的最进攻极少)-云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口

发布日期:2024-12-17 05:36    点击次数:155

开yun体育网(这亦然一齐最低分的最进攻极少)-云yun开·体育全站app(kaiyun)(中国)官方网站 登录入口

今天开yun体育网,ICLR 2025 的 discussion phase 的 ddl 也曾截止。回看夙昔 14 天的征询经由,可太精彩了!

各大平台上顺手一翻即是作家们的吐槽大会,齐在尴尬这届 ICLR 评审的各式仙葩乱象。

比方 UCSB 博士生 @JiachenLi11 就在推特上绝顶之无奈:

我收到的评审履行,低到令东说念主担忧——其中一条评审甚而话齐没说完。难说念审稿东说念主的 tokens 用完毕吗???

图源推友 @JiachenLi11

你还真别说,他这个" tokens 用完"的吐槽并不是胡作胡为——

ICLR 2025 的论文提交数前所未有地高,约有 11000 篇。

为了升迁审稿速率和质料,ICLR 本年引入了 AI 参与审稿责任。

固然了,倒也不是单一 AI,是多个 AI 大模子组成的 Agent。

关联词,你以为审稿东说念主话不写完评审履行就点发送,即是 ICLR 2025 的一齐槽点了吗?

ICLR 吐槽大赏

要细数本年 ICLR 2025 的神奇事件,我们先从最广为东说念主知的一件提及:

[ 10,10,10,10 ] 和 3 个 poor 得分并存

本年的 ICLR 出现了一篇4 个审稿东说念主同期打出了 10 分的论文。

假如这个分数能保抓到中稿示知,这将是近 5 年来,ICLR 的独逐个篇满分作文。

论文题目如下图,是一个叫IC-Light(全称 Imposing Consistent Light)形式,是对于为止图像照明的。

作家张吕敏,亦然大名鼎鼎的 ControlNet 的作家。

他在苏州大学拿到学士学位后,去往斯坦福读博。

IC-Light 不错减轻为止像片主体的光源和布景,将主体、光源、布景三者赶紧地交融在一张图片里。

半年前,IC-Light 就在 GitHub 上开源,现时共 6.5k 星。

与此同期,ICLR 2025 还出现了几篇,某一审稿东说念主给某篇论文全打 1 分的论文。

这里我们打断一下,了解一下 ICLR 的评分体系:

1 分:太差了

3 分:圮绝

5 分:婉拒了哈

6 分:接……吧

8 分:招揽

10 分:强招揽

就拿其中一篇来说吧,看到这个后果给作家气的,写了一篇十几页的 strong rebuttal。

那审稿东说念主为什么给东说念主家 Soundness、Presentation、Contributions 齐给了 1 分?

审稿东说念主言辞绝顶蛮横,直呼Paper Writing is quite bad,然后还绝不客气地发问:" Is there a human author on this paper?"

审稿东说念主还暗示,(这亦然一齐最低分的最进攻极少),我们是不错判断一篇论文是东说念主写的照旧 AI 写的,"也许您在生成文本时莫得进行基本的连贯性检查"。

作家不竭输出离题万里 rebuttal,并反抗"我可真钦佩你识别 AI 的智商"。

作家 5 页酬谢,审稿东说念主在 ddl 顷刻间接头规模

一位在北大 CS 读博的小某书网友 @Kevin 对审稿东说念主的神操作大吐苦水。

事情是这么的,ICLR 不是共 14 天用来 discussion phase 嘛。

这 14 天里,有一位审稿东说念主 5,一共对他场所团队提交的 paper 建议了 10 个问题。

团队寂静回复了整整五页,审稿东说念主 5 已读不回。

团队屡次但愿与其征询,审稿东说念主 5 已读不回。

总之即是一通盘这个词石千里大海。

到了昨天,也即是 discussion phase 的临了一天,"审稿东说念主 5 顷刻间接头这个规模,并将 5 分改为 3 分"。

@Kevin 绝顶不睬解为什么审稿东说念主这么作念的意图。

的确就,令东说念主心碎的 discussion phase。

"你需要援用另一篇 ICLR 2025 投稿"

推友 @PandaAshwinee(普林斯顿博士毕业,现时在 Trails.ai 从事博后责任)给看侵略的网友们画了个我方招揽到的评审履行的亮点:

你需要援用另一篇 ICLR 2025 的投稿。

伸开说说,即是审稿东说念主衔接了 ICLR 2025 openreview 的另外一篇论文,暗示两个形式高度联系,是以小哥应该援用。

但是哭啊,小哥查过了,条件被引的论文根柢不在 arXiv 上。

何况这不是他第一次嗅觉"天塌了"——他在驳倒区补充,之前他的形式在 ICML 2024 被拒,主要原因亦然"与另一篇 ICML 2024 投稿高度相通"。

不外 ICLR 很快在小哥推文底下回复了,抒发纪律主席运行访问这个事儿。

"乞讨式" ICLR

前边提到的齐是审稿东说念主和作家有来有回(哪怕回得慢)的心扉 battle,更有真谛的事是,岂论国内照旧海外,好多东说念主齐把这届称为"乞讨式" ICLR。

简而言之,即是审稿东说念主一直不给评审不给分。

有东说念主上个月下旬的技术,就运行给通盘 AC(区域主席)发了邮件,条件他们辅导审稿东说念主回复作家。

或者至少阐发审稿东说念主们知说念我方还得干这活。

那时就有网友辅导"最坏的筹算",有的审稿东说念主会拖到临了一刻,因为他们也在为我方措辞……

不出所料,单看国内,昨天运行 24h 内倒计时了,好多作家还在恳求审稿东说念主快快评审,快快给分。

哎。

对作家的奇怪央求

在 Google DeepMind 责任的 Ahmad Beirami(@abeirami)共享了一则音尘:

发到推特上后,有 ICLR 作家暗示出了猜忌:

如若作家们写了这玩意儿,是否的确对审稿有匡助?

他认为这"可能是在销耗时辰",因为审稿东说念主透彻可能看齐不看,径直去看 paper 原文。一切齐是忽地的。

不外 Ahmad 很快回复了这位作家:

Yes!

当作又名 AC,我想确保我莫得从作家的角度遗漏任何履行。可能会有好多变化、新后果等。我想确保我知说念在那儿找到它们,以便简略酿成不雅点,判断一些原始驳倒 / 温顺是否适用。

获取这个酬谢后,作家小哥很欣忭地去添加宝贵去了。

ICLR 2025 为何这么

以上各样,仅仅群众或身在其中 / 或围不雅看侵略的 ICLR 2025 的极少点故事远程。

但,身为巨擘顶会,为什么会这么?

有的东说念主认为和本年的稿件数目关系。

官方数据走漏,ICLR 2025 的论文提交数目达到了 11,000 多篇,同比增长 61%。

而昨年 ICLR 2024 组委会收到的投稿总和为 7,262 篇——固然了,对那技术的 ICLR 来说亦然不小的责任量,同比增长了 47%。

本年,面临如斯雄伟的论文数目,审稿东说念主数目高达 15,000 多名。

这还不够,官方还引入了多个 AI 大模子组成的 Agent 来参与审稿。但它的功用不是透彻替代审稿东说念主,它不会撰写审稿驳倒或径直裁剪驳倒,而是提供拓荒性和可操作性的反映,匡助审稿东说念主提高审稿质料。

这个 Agent 针对审稿中可能存在的三类问题提供建议:

饱读舞审稿东说念主改写隐约的驳倒,使其对作家更具可操作性;

凸起著作中可能也曾回答了审稿东说念主问题的部分;

发现并处理不专科、不适应的言论。

但好多作家认为,稿件数目激增确乎加大了责任量,Agent 的支持无可厚非,但绝不是 ICLR 变成被看侵略的"科研春晚"的原因。

一方面,Agent 建议的建议,审稿东说念主是不错聘用摄取或者忽略不管的。

另一方面,极速膨大的审稿东说念主中,是否有东说念主并不是符合评审责任?

再一方面,为了确保审稿质料,每位审稿东说念主对等分拨 3 篇论文,顶天了看 4 篇,责任量并不是超负荷气象。

除了有点参差之外,另一个被网友们热烈征询的点,相聚在这届 ICLR 的分数上。

一般来说,ICLR 的传统招揽率在 30% 傍边,然后本年 ICLR 的排行前 30% 的论文,平均评分约为 5.6。

前边我们先容了,6 分算是一个勉对付强的分数,属于论文被招揽的边际门槛。

这就意味着"低于‘边际摄取’门槛的论文将被招揽"。

网友谈说念,"当会议摄取变得如斯减轻时,我们正在松懈通盘这个词科学评估系统——这影响到 AI 商量合座的无缺性。"

在此基础上,他建议了三点我方的念念考,但愿 ICLR 应有更严格和刚正的纪律。

固然,也有另一种声息:

期待一些超等刚毅到趁人之危的大模子出现,让它们充任审稿东说念主,措置上述通盘问题,以此匡助减轻审稿的职守。

仅仅不知说念这一天什么技术会到来了。

参考衔接:

[ 1 ] https://x.com/mo_danesh/status/1863964693687107823

[ 2 ] https://x.com/JiachenLi11/status/1856472250636964350

[ 3 ] https://x.com/Yuchenj_UW/status/1862541099136651536

[ 4 ] https://x.com/abeirami/status/1863629237741064608

[ 5 ] https://x.com/PandaAshwinee/status/1856384624873570749

[ 6 ] https://x.com/ysu_nlp/status/1860504185583648863

[ 7 ] https://openreview.net/group?id=ICLR.cc/2025/Workshop_Proposals#tab-accept开yun体育网



>> 开云体育(中国)官方网站定约音书东谈主士表露-云yun开·体育全站ap..

>> 开云体育港股确立想路追念里面细目性-云yun开·体育全站app(kai..

>> 开yun体育网 -云yun开·体育全站app(kaiyun)(中国)官..

>> 开云体育布克照实莫得干预球队的锻练-云yun开·体育全站app(kai..

>> 开云体育(中国)官方网站浙江温州商东谈主奔赴四海发展的实在写真-云yu..

>> 云开体育全站app也更需要投资机构和被投企业-云yun开·体育全站ap..

>> 云开体育全站app标记着该时刻的进一步老练-云yun开·体育全站app..

>> 云开体育全站app兴业天禧债券最新单元净值为1.0537元-云yun开..

>> 云开体育其中案由为“单据纠纷”的公告以164则居首-云yun开·体育全..

>> 开云体育包括转载、摘编、复制或开发镜像-云yun开·体育全站app(k..