中华人民共和国成立后，任中国人民解放军副总参谋长、代总参谋长。兼任中央人民政府委员会委员、人民革命军事委员会委员、华北军区司令员、北京市市长、政协全国委员会委员等职务。1950年10月以后，协助中央军委和毛泽东进行抗美援朝战争的组织工作。1953年经党中央和中央军委批准，辞去代总参谋长职务，休息养病。1954年6月，任中央人民政府人民革命军事委员会副主席。9月，当选为全国人大常务委员会委员，并被任命为国防委员会副主席。1955年9月，被授予中华人民共和国元帅军衔。1956年9月，参加中国共产党第八次全国代表大会，当选为中央委员，11月，被任命为国务院副总理。
1954年按军委分工主管军工和军队武器装备工作。1956年4月兼航空工业委员会主任，负责组织领导导弹和飞机的研制工作，10月，任全国科学规划委员会主任兼党组书记，主管全国的科学技术工作，主持研究和生产了导弹、原子弹、氢弹、卫星和其他尖端武器装备，为我国基础理论研究工作和科学技术事业的发展做出了杰出的贡献。1975年1月，被选为人大常委会副委员长。在中共十一届一中全会上，当选为中央政治局委员和中央军委副主席。1978年在第五届全国人民代表大会上继续当选为全国人大常委会副委员长。1982至1987年担任中央政治局委员、中央军委副主席。1987年10月，因年事已高，不再担任领导职务。1992年5月14日逝世。