伏罗希洛夫确认：大批骑兵部队机动灵活而且威力巨大，苏联红军必须组建一支相当规模的骑兵集团军。于是，当布琼尼向中央提出这种建议时，伏罗希洛夫表示完全赞同。1919年11月，伏罗希洛夫便被任命为第1骑兵军的军事委员。对于这一时期的情况，布琼尼在回忆中说道：伏罗希洛夫“是领导全军作战的核心人物之一”。“骑兵部队的特殊组成要求任命不仅具有一般政治声望的人，而且要多少以自己的军事生涯闻名于众，享有一定威信的人。”伏罗希洛夫率领这支部队粉碎了邓尼金军队的进攻。之后，又从波兰白匪军手中解放了乌克兰，并消灭了弗兰格尔的部队。
1921年，伏罗希洛夫当选为俄共十大中央委员，率领大会部分代表参加平息喀琅施塔得反革命叛乱，因指挥作战有功，而荣获红旗勋章。
1921－1941年，伏罗希洛夫先后担任北高加索军区司令、莫斯科军区司令、陆海军人民委员、苏联革命军事委员会主席、苏联国防人民委员，苏联人民委员会副主席。苏联人民委员会防御委员会主席等职，积极参加1925年苏联军事改革，重视苏联红军武器装备现代化，扩建中高级军事院校网络，大力培养指挥人才，亲自组织修改和拟定陆、海、空三军条例和条令，为苏军军事人才培养、军事体制改革、技术装备的改进和战斗力的提高做出了突出贡献。1935年11月20日，根据苏联中央执行委员会和苏联人民委员会的决定，首批为五名苏军将领授予元帅称号，伏罗希洛夫就是这五名苏联最早的元帅之一。