以42票对1票否决了日本的主张。此前，关东军进攻中国热河省，国际联盟成员国对日本的看法进一步恶化。3月，日本宣布退出国际联盟，开始走上孤立化道路。使得军费激增，人民生活更加困苦不堪。斋藤内阁无论怎么对农村救济都是杯水车薪。为了回避危机，斋藤对军部的有关行动进行了不同层次的工作，但都不成功。而且这些工作大多是由主管大臣去做的。时局需要内阁作出机敏的反应，但斋藤内阁没有做出人们期待的成果，因此被称为“怠工内阁“。这届内阁中充满实力派人物，与其说要发挥首相领导力，不如说是在努力落实各项现实政策。
对斋藤内阁的倒阁运动一直没有停止。军部讨厌斋藤的自由主义者气味，中岛久万吉商工相在设立日本制铁时的贪污嫌疑被暴露;杂志刊登出“足利尊氏赞美论“;鸠山文相的桦太工业受贿嫌疑;“明糖事件“等都成为丑闻。很明显，这些炒作都是为了推翻斋藤内阁。最后以帝国人造绢丝股票买卖贪污事件(帝人事件)为由，内阁不得不总辞职。
斋藤少年时代就被称为水泽的三秀才之一，是个勤奋用功的人。他自己后来说自己生来不会是伟人，但也不是平庸之辈，只是一直在努力做事，时间就这样慢慢的过去了。斋藤的外国朋友很多，年轻的时候因为在美国工作了4年，所有和美国人特别亲近。美国驻日大使约瑟夫·C·格鲁就是他的好朋友。他的英语是历代总理中最好的，在重要场合都不需要翻译。连他的日记都是英文写的。青年时期是体格瘦弱，对牛高马大的洋鬼子的身材很羡慕，就天天喝啤酒长肚皮。结果斋藤身体明显强壮。明治天皇病危的时候，当时的阁僚都挤在宫中祈祷天皇恢复，不过，一周下来其他人都受不了，只有他还有精神吹牛，自吹年轻的时候，1周睡一天也没一点事。他去朝鲜总督府上任时，抵达的当天下午就开始办公。这个体力使周围的人都吃惊不小。
1932年5月15日，日本陆海军军官在“血腥团“领导下，闯入首相住宅，枪杀了首相犬养毅，袭击警视厅内务省日本银行，三菱银行，政友会本部等，他们反对正党内阁，强化军国主义体制，立即对苏作战“五·一五，事件后，以退役海军大将斋藤实为首的内阁，斋藤实上台后，立即扩大特务网，疯狂镇压一切民主力量，剥夺人民的一切民主权利，开始了全国性的大逮捕。
裕仁想自己的国家正在按照南洋人的脚步在进行这很美丽的大陆梦想，日本政府这个时候的脚步也开始停不下来了，裕仁和首相斋藤说，我们要把少壮派的脚步
…。。