由于司马懿长期带兵在秦川跟蜀国打仗,魏国兵权大部分落在他手里。明帝提升他为太尉后,他实际上就成了魏国的军事统帅。
景初元年(237年),原魏辽东太守公孙渊叛魏自立为燕王,置列百官,定都襄平(今辽宁辽阳)。魏明帝召司马懿回京,于238年正月,命他率兵讨伐。
司马懿军至辽水,采用声东击西之计,先在南线多张旗帜,佯攻围堑,吸引敌军主力,而以主力隐蔽渡过辽水,逼近敌营。接着,不攻敌营,却挥师直取公孙渊根据地襄平。公孙渊战死,辽东国灭。粉碎了公孙渊的分裂势力,维护了已经形成的统一局面。在原定的一年期限内,即胜利班师。
当时司马懿军中有的士兵衣单寒冷,向他乞要襦衣,司马懿不给。对人说:"襦衣是国家的,我作臣子的,不能赏与别人,换取感激。"他十分注意避嫌,以至于宁愿士兵受冻也不自作主张发放冬衣。