记忆中还有着另外一个人，也是唯一的一个人，那就是他的奶娘，林善玉。
在他有记忆开始，林善玉一直陪在他身边，他们当时最落魄的时候，是奶娘为他去城隍庙偷贡品给他吃，两人没地方去，也就睡在城隍庙中。
那个时候他还有名字，林善玉经常亲昵地叫他“潭之，”可是奇怪的是，他从不知道自己姓什么。
但是姓名对于他而言，只是一个代号而已，她不告诉他，他也就没问。
直到后来有一天，他无意中发现奶娘藏在身上的一块布料，那是从他的襁褓上剪下来的，上好的绸缎织成的布料，上面用金线绣着“路潭之”三个字。
他那个时候，才知道自己原来姓“路。”
可是令他不解的是，因为当今天子姓路，所以“路”为皇姓，普通老百姓不能取，他怎么会姓这个名字？
他当时不懂，直接拿着布料问奶娘，可是没想到她见到后不仅没有为他解答疑惑，反而十分惊慌，并且对此事却守口如瓶，坚决没有向他透露出一个字。
任凭他怎么询问都不说，只是告诉他不要将此时说出去，不然他们两个都会死。
路潭之不想死，于是他便闭上了嘴巴，再也没有提过此事。