此外，另一个有关的信仰认为鬼魂如无处可去和享用应得的祭献，就会作祟害人。而这种信仰使得死后没有子嗣的人可以指定和收继子嗣的那种制度合理化了。
但是，甚至在最早的历史时期，中国人的祖先崇拜已对于要崇拜的祖先的数目却上了一项限制。就没有官阶的平民来说，祭献只限于去世的父母和祖父母，甚至在大家族内，祭祀也仅限于三四代。远祖由于每一新的世代（的死亡）而被跻升成为迁祧不祀的阶级。关于例常的迁祧的制度，儒家已有详细的考订，且用于皇朝和帝室的祖先。
那么迁祧的祖先灵魂将会怎样呢？他们不会饿死吗？答案曾是这样，即灵魂渐渐地缩小而最后完全消失。一种流行的信仰认为“新鬼大，故鬼小”。就基于这类信仰。在古老的字典上“死”字便被界说为“澌灭”（《说文》）。这项定义综括了中国平民的常识和知识阶级的怀疑主义（skepticism）和理性主义（rationalism）。总之，早期中国人的华夏宗教含有着一些有关人类死后遗存的观念的，不过赋予生体以生命和知识的人体灵魂，虽视其强弱而做一个短时期的鬼神，却仍渐渐地衰萎而终至完全消散，它不是不灭的。