刘备待宋忠走后，立即与徐庶、诸葛亮商议，徐庶道:“不如引兵急攻襄阳，然后拒曹。”
刘备问道:“此乃景升兄基业，怎能攻其子嗣，夺其基业。！”
诸葛亮看刘备断然拒绝，也明白襄阳城内蔡瑁久掌兵权，经营数十载，非轻易可拿下的，何况曹操大军很快就要抵达，便道:“既然如此，不如退入江陵，再图大事。”
刘备道:“只能如此。”
于是率帐下兵马南下江陵，刘备驻扎新野七年，治理新野，百姓安居乐业，闻听刘备南撤，也都要跟随刘备南撤。
刘备不忍弃之，便和百姓一同南撤。樊城百姓一看，也要跟着。百姓拖家带口，尽数跟随。刘备带十余万南撤。
徐庶、诸葛亮急忙来找刘备劝道:“主公，我们要想取江陵，必须急攻，若带上十万百姓，恐怕会耽误我军行军速度，到时无法抵挡曹操。”
刘备道:“我知道，但百姓欲归我，我怎能弃之不顾。”
刘备令将前时准备好藏于民间的船只征集起来，由关羽水军登船，刘备下先让百姓中的老人、小孩登船，关羽训练的水军除了水手何必要的守卫外，暂不登船，将百姓送到往江夏方向后，再返回继续运送百姓。
刘备又派人往刘琦处求援，于路上接应。众人劝刘备将家眷先送走，刘备道：“我家眷中并无老人，岂能先走，百姓信我方才跟随，怎能自违誓言，不必多说。”
诸葛亮道：“虽是如此，主公家眷终究不可与百姓混杂，以免发生意外。”众人附和。
刘备道：“既然如此，子龙，备之家眷，劳你照看。”
赵云上前道：“必不负主公所托。”
关羽先引兵在汉水将木船排列，架起两座浮桥，百姓尽数过汉水，而邻长、乡长、屯长各自将老人、孩子选出，送到关羽船上，沿汉水南下。
刘备望襄阳而来。
众人抵达襄阳城下，刘备打马来到城下喊道:“请刘琮出来搭话。”
守城兵马报与刘琮，刘琮不敢回答，蔡瑁道:“不要理他，敢近城池便以箭射之。”
刘备连喊数次，无人理会，刘备叹息一声，打马离去。
张飞道:“大哥何不趁机破襄阳，宰了刘琮和蔡瑁。”
刘备道:“纵然破城，于事无补，不过是生灵涂炭，更何况刘琮乃景升兄之子，安肯害之。”
张飞道:“大哥也太好心了，便宜这些贼子了。”
…。。