徐达平定关陇之师凯旋京师，大举围攻兰州。洪武三年(1370)春，徐达征尘未洗，又受命为征虏大将军，率李文忠、冯胜、邓愈、汤和等分兵两路，扫荡侵扰北方的元朝残余力量(参见明太祖第一次北征沙漠之战)。徐达从潼关向西进军，出西路捣定西，进攻扩廓。徐达此次率军北征，取得较大胜利，逼使元朝残余势力向应昌、定西一线北撤。从此，明朝北边的防御趋于稳定。
同年十一月，徐达等班师回朝，朱元璋亲自到龙江迎接北伐将士。随后，大封功臣，徐达因功授开国辅运推诚宣力武臣，特进光禄大夫、左柱国、太傅、中书右丞相参军国事，封魏国公，岁禄五千石，子孙世袭。
为了进一步打击残余元军，洪武五年(1372)正月，徐达再次以征虏大将军的身份率军北征(参见明太祖第二次北征沙漠之战)。这是一次大规模的军事行动，分兵三路，“肃清沙漠”(指对蒙古用兵)。徐达从雁门关出塞，直趋和林，作为中路军。三月，徐达师抵山西边境，派蓝玉为先锋，出雁门关向北挺进。蓝玉在野马川击败扩廓部流动部队，徐达率军至土剌河(今蒙古人民共和国境内土拉河)，再败扩廓军。扩廓败逃后，与贺宗哲合为一军，在岭北布下阵势阻击徐达部队。扩廓、贺联军拼死进攻，明军受挫，死伤数万人。徐达处变不惊，收缩战线，坚守营垒，才免遭大败。然后，徐达整军而还，敛兵守塞。扩廓军队见此未敢贸然追击。
由于蒙古军事力量一时难以消灭，明朝对北方的战略从以攻为主转为以防御为主。从此，徐达长期在北平、山西一带练兵备边，镇守北平十余年。
徐达在镇守北平期间，先后三次迁徙山西农民到北平屯田种地，以加强北平的防御力量。徐达将他们分散到长城沿线各卫所，按其户籍服役课税。属籍军户的，发给衣服、食粮，使应军差；属籍民户的，分给田地、牛、种子，使纳租税。前后移民三万五千多户，十九万余人，建立屯田点二百五十余个，垦田一千三百多顷。徐达的这些措施大大减轻了北方军队的粮饷供应问题，使明朝北部边疆日趋稳定。同时，徐达严格训练士卒，缮治城池，加强守备，谨严烽燧，时时防备蒙古军队的侵扰。徐达被视为塞上长城。明朝建国后，随着文臣地位的提高，过去立下汗马功劳的武臣逐渐受冷遇，但是徐达始终受到朱元璋的重用，捍御着明朝北方的安全。
长期的戎马生涯，奔波劳累，使徐达的身体逐渐支撑不住，终于积劳成疾，一病不起。洪武十七年(1384)闰十月，徐达在北平病
…。。