到了天子的无视，反而还被对方抓住破绽，折了刘子翊。最终赵才不甘受辱，愤然退出。
江都之变的时候，他当时在苑北领兵，不知晓城中情况。当时宇文智及派遣骁果席德方矫诏追之，赵才闻诏而出，被席德方所擒。
不过赵才名气在关陇世家中实在太大了，大到宇文化及在捉了赵才之后都不得不给他赔不是。言“今日之事，只得如此，幸勿为怀。”
赵才默然不语，惹得宇文化及一阵愠怒，可思量再三，宇文化及终究不敢杀赵才，还给他官复原职。
赵才可不是许善心那种腐儒，他的旧部、同僚遍及三军。
赵才虽然得到宇文化及的礼遇，却是不怎么领情。
今日宇文化及设宴招待群臣，赵才征得宇文化及同意后，便举杯劝宇文化及和同谋杨士览等十八人道：“你们十八人只可效忠一主，怎么又供职他处呢？”弄得众人尴尬不已，最后不欢而散。
宴会之后，赵才一个人回到船上，正暗自神伤，忽然听到窗外有人求见。
赵才打开船门，便见门前站着一个湿漉漉的人。他定睛一看，竟然是折冲郎将沈光。
“总持（沈光字）何来于此？”
“大将军！”
两人同为伤心人，话没说两句，倒是一同哀恸起来。
赵才将沈光引进船舱，又命人小心把守。
“总持，你不是在外领兵，怎么一个人来了高邮。”
沈光遂把他和麦孟才一起，跟着黄维扬，击败宇文定及和李子通的事情，细细说了一遍。直听得赵才又惊又喜。
“虎父无犬子啊！黄舍人真令人叹服。”
沈光也点点头，没多说什么。
赵才便又问道：“你今日秘密潜入御营之中，当是有要事吧？”
沈光也不瞒着赵才，便言道：“末将本是长安一浪荡子，深受国恩，不能为社稷而死，已是耻辱。今天子为贼所弑，皇后为贼所制，我等不能克定祸乱，本就颜面无存，活着都没什么意义。所以我今日来见大将军，就是想联络大将军，诛杀宇文化及兄弟，匡扶大隋社稷。”
赵才听了，马上抓着沈光的手道：“大隋有将军，何其幸也。”
沈光又言道：“我有三千人马，俱在高邮西面，可秘密潜在运河之畔。大将军在御营之中，可谓是在敌腹心。我计划先由大将军联络忠义之事，然后在御营之中，制造混乱，我则趁机从陆上攻入御营之中，如此双管齐下，杀宇文化
…。。