虽有万一不虞之变，军主有储，则无患矣”帝不从。出补河内太守，在任有威严之称。征拜侍中，母忧去官。
嘉平中，为司隶校尉。抚军校事尹模凭宠作威，奸利盈积，朝野畏惮，莫敢言者。曾奏劾之，朝廷称焉。时曹爽专权，宣帝称疾，曾亦谢病。爽诛，乃起视事，魏帝之废也，曾预其谋焉。
时步兵校尉阮籍负才放诞，居丧无礼。曾面质籍于文帝座曰“卿纵情背礼，败俗之人，今忠贤执政，综核名实，若卿之曹，不可长也”因言于帝曰“公方以孝治天下，而听阮籍以重哀饮酒食肉于公座。宜摈四裔，无令污染华夏”帝曰“此子羸病若此，君不能为吾忍邪”曾重引据，辞理甚切。帝虽不从，时人敬惮之。
毌丘俭诛，子甸、妻荀应坐死。其族兄顗、族父虞并景帝姻通，共表魏帝以匄其命。诏听离婚，荀所生女芝为颍川太守刘子元妻，亦坐死，以怀妊系狱。荀辞诣曾乞恩曰“芝系在廷尉，顾影知命，计日备法。乞没为官婢，以赎芝命”曾哀之，腾辞上议。朝廷佥以为当，遂改法。语在《刑法志》。
曾在司隶积年，迁尚书，正元年中为镇北将军、都督河北诸军事、假节。将之镇，文帝使武帝、齐王攸辞送数十里。曾盛为宾主，备太牢之馔。侍从吏驺，莫不醉饱。帝既出，又过其子劭。曾先敕劭曰“客必过汝，汝当豫严”劭不冠带，停帝良久，曾深以谴劭。曾见崇重如此。迁征北将军，进封颍昌乡侯。咸熙初，拜司徒，改封朗陵侯。文帝为晋王，曾与高柔、郑冲俱为三公，将入见，曾独致拜尽敬，二人犹揖而已。
武帝袭王位，以曾为晋丞相，加侍中。与裴秀、王沈等劝进。践阼，拜太尉，进爵为公，食邑千八百户。泰始初，诏曰“盖谟明弼谐，王躬是保，所以宣崇大训，克咸四海也。侍中、太尉何曾，立德高峻，执心忠亮，博物洽闻，明识弘达，翼佐先皇，勋庸显著。朕纂洪业，首相王室。迪惟前人，施于朕躬。实佐命兴化，光赞政道。夫三司之任，虽左右王事，若乃予违汝弼，匡奖不逮，则存乎保傅。故将明衮职，未如用乂厥辟之重。其以曾为太保，侍中如故”久之，以本官领司徒。曾固让，不许。遣散骑常侍谕旨，乃视事。进位太傅。曾以老年，屡乞逊位。诏曰“太傅明朗高亮，执心弘毅，可谓旧德老成，国之宗臣者也。而高尚其事，屡辞禄位。朕以寡德，凭赖保佑，省览章表，实用怃然。虽欲成人之美，岂得遂其雅志，而忘翼佐之益哉。又司徒所掌务烦，不可久劳耆艾。其进太宰，侍中如故。朝会剑履乘舆上殿，如汉相国萧何、田千秋、魏太
…。。