古代丧葬极为隆重铺张，人力、物力、财力耗费巨大，届时逝者的上司、僚友、亲戚、朋友，以及家庭家族人员等，都必须拿出财物帮助丧事主家办理丧事。
这一习俗，称之为赙赠。赙，以财物帮助生者办事；赠，以奠品吊祭逝者安息。
按照丧礼规范文本《仪礼》《礼记》的设定，严格意义上讲，出财物帮助主家办丧事叫礼赠或礼馈。
随着经济社会不断发展，生活水平的不断提高，大体上说，唐宋以后，才有“礼金”的说法。礼金作为流行性习俗，明清时期较盛，一直到现在。
为啥礼金不能退呢？道理很简单，一是主家需要；二是吊丧人的一份情义。
古典社会条件下，按丧礼要求，丧事是家庭巨大负担，一般人家死不起。
家贫者，往往待赙以举丧。《春秋–隐公三年》就有：“秋，武氏子来求赙，王未葬也。”武氏是大夫，属于贵族阶层，向鲁国求赙。
汉代官吏死后，国家都予赙赠，如二千石官，死后可受钱百万，数额是很大的。
唐代沿袭汉制，据杜佑《通典》记载：“诸职事官薨卒，诸赙物及粟，皆出所在仓库，服终则不给。”
就是说，国家工作人员，居丧三年期间，丧事赙物和粮食都是公家给的。一般居民百姓，丧事只有靠亲戚朋友左邻右舍帮忙，有多大能力办多大事。
可见，汉代之后，礼馈是有规章制度要求的。现在也还有，但数额较小。
《仪礼》中的禭、饭含、赗等，都是赙赠。禭就是赠衣服、衾褥；饭含就是赠珠玉、食粮；赗即是赠车马、运力。
司马光《书仪》有：“《诗》云：凡民有丧，匍匐救之，敝古有含襚赠赙之礼，珠玉曰含，衣衾曰襚，车马曰赗，货财曰赠，皆所以矜恤丧家，助其敛葬也。”就是这个意思。
现实城乡丧事活动中的“上幛子”，包括花圈花篮等，都是古法丧礼“禭”的传承。
从本意上讲，丧事礼馈是全部用于丧事的，即全部用在为逝者办事上。
一开始是没有结余的，后来经济发展了，人们有钱了，条件变好了，丧事礼馈有结余，于是出现了礼金，出现了“份子钱”。
所以，丧事礼金要么不收，既然收了，就不能退。不管上多少钱，都是一份情义，不要钱可以，不要人情就过了。
实在不在乎这点钱的，可以采用谢客回礼的方式，你家有钱，回什么回多少都行。