宋弈说:“要不每次模型一更新,就把旧队列全清掉。”
“可以。”
“那不就完了?”
“旧任务全浪费。”
“总比结果不能信好。”
原既白没有反驳。他一开始也倾向于这么做:模型版本变了,就停掉所有测试,清空队列,从头开始。这样最干净,最容易保证一致。可他们很快算了一下,如果以后模型更新频率更高,长时间任务不断被清空,系统大部分时间都在重复做已经做过的事。更何况有些旧任务本身仍有价值,因为比较同一测试在新旧模型上的变化,恰好能告诉他们模型升级以后哪些弱点消失、哪些弱点又出现。
真正需要做的,不是让整个系统每次都停下来等所有东西对齐,而是让每一条结果都能回答:它是在什么模型、什么数据、什么测试器版本和什么时间条件下产生的。
宋弈听完说:“所以不要求大家一起变,但必须知道自己跟谁生的?”
原既白抬头看他。
“你这个说法很难听。”
“能懂就行。”
确实能懂。
他们开始给每一个结果附上完整的“来历”:这张测试图由哪个测试器版本生成,生成时针对的是哪个模型,真正执行时用的又是哪一个模型,数据集版本是什么,任务何时进入队列、何时运行。原本一行结果只需要图片编号和预测值,现在后面多出一长串看起来很烦的元数据。
宋弈抱怨说他们是在给每一张图片办身份证。
原既白却越来越觉得这些“身份证”比想象中重要。一个数字本身几乎什么都不说明。模型准确率从九十二降到八十八,如果不知道测试集有没有变、模型版本有没有变、数据处理有没有变,这四个百分点根本不能直接比较。系统越复杂,“同一个结果”背后可能来自的路径越多,而路径一旦丢掉,很多事实就会变成看起来精确、实际上无法追溯的数字。
叶老师看完新版以后,问的第一件事是:“如果一个任务跨了两个模型版本怎么办?”
原既白已经有准备:“结果不覆盖,分开记。”
“如果测试生成基于A,执行时模型已经是B?”
“也记清楚。它不再是A的纯测试,但可以作为A生成、B执行的一类迁移测试。”
“谁解释?”
“报告层解释,不让底层数据自己假装是一回事。”
叶老师这次没有继续追。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 词令书屋 All Rights Reserved.kk