漆昊听到这里有些想不明白了,他看到旁边有一块白板,就走过去,拿起笔写了起来。
“假设网络有n层,每一层的激活函数是σ,那反向传播的时候,梯度要经过n次链式法则……十层网络,梯度衰减系数是0.25的十次方。“
他在旁边写下结果:0.25¹⁰≈ 0.0000009537。
漆昊放下笔,转过身:“梯度没有消失,它只是在指数级衰减,这是激活函数选取带来的结构性缺陷,不是优化算法的问题。”
老王在旁边看得连连点头。
他这个学生说的确实没问题。
汪总问道:“那怎么解?”
“换激活函数。”
陈工盯着那条折线,嘴唇动了动:“这么简单?”
“数学上最优美的东西往往都简单,当然,这只是我的直觉,具体的收敛性证明还需要时间,但从梯度传播的角度看,这个方向应该是对的。”
蓝总和汪总交换了一个眼神。
蓝总先开了口,不再绕弯子:“漆昊同学,我直说了,华记和大飞最近在谈一个联合项目,华记负责地面基站侧的智能选址和资源调度,大飞负责低空无人机中继节点的自主飞控和航迹规划。”
“两块业务看着不搭界,但核心瓶颈是同一个问题……”
“在传统数学建模失效的复杂环境下,如何用数据驱动的方式替代人工经验。”漆昊接上了他的话。
蓝总认可:“对,就是这个意思。”
汪总从沙发上站了起来,难得正色道:“我说句实话,我们大飞有工程团队,华记有数据和算力,但两边都缺数学人才。”
“今天见到了漆昊同学,我们算是有了底。”
“你不只是能做数学推导,你还有工程直觉,梯度消失这个问题我们内部工程师也发现了,但他们的解决思路全是从工程调参的角度出发。”
蓝总点点头,转身看向胡院长说:“胡院长,我们华记的技术委员会上周刚批了一笔专项预算,如果贵院愿意,我们华记可以出资800万,大飞出资400万,三方共同在数院成立一个智能计算与控制联合项目。”
“1200万,第一期资金,另外,硬件设备、高配服务器,全部由我们华记直接提供,大飞那边,也可以把最新的原型机和珠峰测试数据无条件对项目开放。”
“但前提条件是,漆昊需要负责我们的项目。”
1200万!
…。。本站若有图片广告属于第三方接入,非本站所为,广告内容与本站无关,不代表本站立场,请谨慎阅读。
Copyright © 2020 词令书屋 All Rights Reserved.kk