但他对卫怀的态度也随时间悄然变化着，那种如同对神一般的崇敬仰慕之情早消失不再，更多的是一种朋友兄弟之间的关怀。尽管他时而还提起卫怀的知遇之恩，不过说起这事来的语气已与初时迥然不同。
还有他的性格并非那样的谦卑恭谨，卫怀与他相交久了，才发现他的脾气是比较刚直的。若有令他心有不满的事，他不论身处何地都要发散出来，不看他人的脸色，反之亦然；平日见卫怀有行得不妥之处，更是直言不讳。卫怀虽不曾因此和他计较过一分一毫，可国子监的同僚们常常被惹得不太高兴。卫怀还屡劝他做事说话要委婉些，杨怀绳虽答应的十分坚决，可仍旧我行我素，不改禀性。
可卫怀觉得，这是个本心不坏的人，故一直同他推心置腹，从来无疏远之意。
这日因见天气晴和，卫怀便与怀绳道：“我近因公事，无闲时与仲方兄相会；今日好不容易歇了一遭，你我何不携棋盘于屋外奕上一局，正好置茶谈叙，何如？”
杨怀绳点头道：“是这理。但及民既然舍得出来，何不往淮清桥一览旧地，在茶肆内对弈攀谈呢？”
“好！”卫怀坚决地答应了。
二人即身着布衣，拿了棋盘，不带奴才，伴着他们爽朗的呵呵大笑，逍遥地向淮清桥去了。