个已经被拿掉的中央节奏,给消息编号、补时钟、等待慢节点,本质上都在试图重新制造“大家一起走”的条件。这些办法有时当然必要,但如果系统规模足够大、延迟无法控制,等最慢的人本身就会变成代价。
“有时候,”他说,“你们不是要把现实改造成一个同步系统,而是要学会在不同步里工作。”
这句话让江遥在灰色本子上停了很久。
她没有抄。
因为它太像一句适合被单独划线的话,她现在对这种句子已经本能地有点警惕。她只把上午那六条时间线继续补完整,在旁边写下两个问题:**什么时候必须等别人?什么时候不等也可以继续?**
---
原既白那边,几乎在同一周遇到了一个更加难看的版本。
自动测试系统经过前几轮改造以后,终于可以连续运行,不再因为磁盘写满或者单个任务卡死就整体停摆。宋弈于是做了一件他们之前一直没有胆子做的事:把两个不同版本的模型同时接进去,让测试器并行跑。
本意很简单。他们想比较同一批自动生成的测试,在模型A和模型B上分别会发现什么弱点。按原既白最初设计,每个任务生成一张测试图片以后,同时发给两个模型,两边都返回结果,再统一写入数据库。只要把模型版本记清楚,后面便能比较。
第一晚看起来一切正常。
第二天上午,结果开始出现无法解释的矛盾。
同一张图片在日志里有三次记录,两次显示模型A判断正确,一次却显示模型B输出;某些测试任务标记的是A版本,真正调用的模型进程却已经在半小时前被替换成新权重;还有一批图片生成时依据的是旧模型的弱点,等真正进入评测队列,模型已经更新,结果当然和搜索时完全对不上。
宋弈看着数据库里那些互相打架的记录,第一反应是:“是不是写错标签了?”
查了半天,标签本身没有写错。
真正的问题出在时间。
模型训练、测试生成、任务调度和结果写入四件事并不是按一条整齐的流水线一步一步发生。有些测试任务生成很快,有些慢;模型更新后,队列里仍然躺着按照旧版本生成的任务;某个进程重启以后拿到的是新模型,任务本身却还认为自己在测试旧模型。每一个小模块单独看都“做对了”,组合起来却产生了一批连他们自己都无法再解释的结果。
原既白第一次完整画出时间线时,沉默了好一会儿。
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 词令书屋 All Rights Reserved.kk