年少时曾在汶水河畔游玩，有一个白胡子的老人看他资质奇特，大发感慨，说道：
“你这小屁孩，仪表不凡，不到六十岁，必定为天下建立大功。”
言毕，飘然而去，不知所踪。
也许是受到了这句话的激励，羊祜的心理得到了某种暗示，读书特别认真，弱冠之年，才学渊博，擅长写文章。
文采出众之外，又兼身长七尺三寸，面如敷粉，须眉秀美，容貌俊俏。
且羊祜谈吐不俗，长于论辩，端的如玉树临风，风流倜傥。
同郡人夏侯威觉得羊祜这小伙子是个不可多得的人才，有做大事的潜质，便自作主张，遂将哥哥夏侯霸的女儿嫁给了他。
夏侯威、夏侯霸都是曹魏政权里的实权人物。
不过，在司马氏把持朝政的日子里，曹氏集团正与司马氏集团展开争夺最高权力的斗争，羊祜并不看好曹魏政权。
他曾被荐举为曹魏政权的上计吏，州官四次征召他做从事、秀才，朝中五府征召他做官，他都拒绝就职。
有人因此称羊祜为“当代的颜回”。
不久，曹爽被杀，夏侯霸降蜀。
夏侯霸的亲戚朋友生怕惹祸上身，纷纷和夏侯氏一家划清界线，断绝来往。
只有羊祜，若无其事，安抚夏侯霸的家属，以礼相待，关怀备至。
司马昭做大将军，召羊祜做官，羊祜同样拒绝了。
说起来，羊祜也是和司马氏有姻亲关系的：
他的姐姐是司马师的发妻。
正因为如此，当初他对曹魏政权的征召采取了回避态度，不愿意卷入政治斗争的旋涡之中。
但在司马昭的一再要求下，他终于出任中书侍郎，不久又升迁为给事中、黄门郎。
曹奂即位，羊祜拜为相国从事中郎，后迁为中领军，掌管国家机密大事，宫中卫队归他统领，处理宫中事务，掌握军事大权，统管内外大事。
可以说，后来司马炎能顺利受禅让即位，掌握军事大权的羊祜是居功至伟的。
羊祜既拥有辅晋建大业的功勋，不久，领中军将军头衔，加散骑常侍职位，改封郡公，食邑三千户。
羊祜担心会引起贾充等权臣的嫉妒，死活不肯接受封公，只接受侯爵。
初登帝位的司马炎有混同宇内一统天下的大志，其为羊祜保留散骑常侍、卫将军的职衔，让其都督荆州诸军事、持节，积极为灭吴做准备。
一场
…。。