频讨破之。州界清静，政化大行。时人歌之曰“海沂之康，实赖王祥。邦国不空，别驾之功”
举秀才，除温令，累迁大司农。高贵乡公即位，与定策功，封关内侯，拜光禄勋，转司隶校尉。从讨毌丘俭，增邑四百户，迁太常，封万岁亭侯。天子幸太学，命祥为三老。祥南面几杖，以师道自居。天子北面乞言，祥陈明王圣帝君臣政化之要以训之，闻者莫不砥砺。
及高贵乡公之弑也，朝臣举哀，祥号哭曰“老臣无状”，涕泪交流，众有愧色。顷之，拜司空，转太尉，加侍中。五等建，封睢陵侯，邑一千六百户。
及武帝为晋王，祥与荀顗往谒，顗谓祥曰“相王尊重，何侯既已尽敬，今便当拜也”祥曰“相国诚为尊贵，然是魏之宰相。吾等魏之三公，公王相去，一阶而已，班例大同，安有天子三司而辄拜人者。损魏朝之望，亏晋王之德，君子爱人以礼，吾不为也”及入，顗遂拜，而祥独长揖。帝曰“今日方知君见顾之重矣”
武帝践阼，拜太保，进爵为公，加置七官之职。帝新受命，虚己以求谠言。祥与何曾、郑冲等耆艾笃老，希复朝见，帝遣侍中任恺谘问得失，及政化所先。祥以年老疲耄，累乞逊位，帝不许。御史中丞侯史光以祥久疾，阙朝会礼，请免祥官。诏曰“太保元老高行，朕所毗倚以隆政道者也。前后逊让，不从所执，此非有司所得议也”遂寝光奏。祥固乞骸骨，诏听以睢陵公就第，位同保傅，在三司之右，禄赐如前。诏曰“古之致仕，不事王侯。今虽以国公留居京邑，不宜复苦以朝请。其赐几杖，不朝，大事皆谘访之。赐安车驷马，第一区，钱百万，绢五百匹，床帐簟褥，以舍人六人为睢陵公舍人，置官骑二十人。以公子骑都尉肇为给事中，使常优游定省。又以太保高洁清素，家无宅宇，其权留本府，须所赐第成乃出”
及疾笃，著遗令训子孙曰“夫生之有死，自然之理。吾年八十有五，启手何恨。不有遗言，使尔无述。吾生值季末，登庸历试，无毗佐之勋，没无以报。气绝但洗手足，不须沐浴，勿缠尸，皆浣故衣，随时所服。所赐山玄玉佩、卫氏玉玦、绶笥皆勿以敛。西芒上土自坚贞，勿用甓石，勿起坟陇。穿深二丈，椁取容棺。勿作前堂、布几筵、置书箱镜奁之具，棺前但可施床榻而已。糒脯各一盘，玄酒一杯，为朝夕奠。家人大小不须送丧，大小祥乃设特牲。无违馀命。高柴泣血三年，夫子谓之愚。闵子除丧出见。援琴切切而哀，仲尼谓之孝。故哭泣之哀，日月降杀，饮食之宜，自有制度。夫言行可覆，信之至也。推美引过，德之
…。。