菲尔莫尔振作精神料理完妻子的后事之后，他才回到了布法罗。现在，妻子的去世使他心灰意冷，倍感孤独。同时，他也再没有依恋了，在一栋别墅里安享晚年。
在妻子去世不足一年的时间里，菲尔莫尔的女儿艾比也去世了，这令政治上失意的他在心灵上又蒙上了一层阴影。为了寻找另一种精神寄托，化解心中的悲痛，他决定继续投身于政坛。
1856年，菲尔莫尔再次参加了总统竞选，但是惨败而归，他彻底地放弃了。之后，他便把主要的精力投入到家乡布法罗的公众事业上。他出钱建立了布法罗的第一所中学，除此之外，他还向公共图书馆提供资助。
虽然菲尔莫尔给自己安排了种种事务，但鳏居的孤清生活总使他感到有些寂寞——他打算再续娶一位夫人。1858年2月10日，菲尔莫尔与纽约州奥尔巴尼的富孀卡罗琳·卡迈克尔·麦金托什结婚。卡罗琳的前夫是奥尔巴尼著名的实业家伊齐基尔·麦金托什，所以卡罗琳非常富有。结婚前，她与菲尔莫尔还签了一份协议，让菲尔莫尔作她的财产代理人。那时，菲尔莫尔58岁，卡罗琳45岁。和卡罗琳结婚，对于年老的菲尔莫尔来说未尝不是件好事，她给菲尔莫尔带来了一大笔财产，解决了菲尔莫尔的拮据困境，偿付了欧洲之行欠下的账单，还在布法罗的尼亚加拉广场买了一幢豪华的大宅。他们经常在那里召开盛大的宴会，招待该市的达官贵人和社会名流，他们夫妻俩也成了当地社交界的中心人物。在此之前，他们夫妻两人又到欧洲法国和西班牙旅游了一次。按道理来说，续娶夫人之后的菲尔莫尔应该比较幸福美满了，然而，美中不足的是，他唯一的儿子与这位后母总是难以和睦相处，这给菲尔莫尔带来了难以免除的遗憾。作为政治家的菲尔莫尔在处理自己的家庭问题上苦无良策，为自己、为儿子都留下了永久的遗憾。虽然菲尔莫尔在遗嘱中要求儿子和后母努力和睦相处，但是这对母子却在继承权问题上争执得不可开交。或许菲尔莫尔与儿子之间的关系也不是太融洽，他在遗嘱中把他的绝大部分遗产都留给了自己的第二任妻子，而不是自己唯一的儿子，这让人难以理解。鲍尔斯为了遗产问题和他的后母闹到法庭上，最后，他胜诉了，获得了属于他的遗产。但是，获得遗产后，菲尔莫尔的儿子并没有把钱花在应该花的地方，而是整天生活在醉生梦死中，大肆挥霍，不久这笔遗产就被他挥霍一空了。