根据中国法律的相关规定，在离婚时，是否需要退还彩礼取决于具体情况。以下是相关法律规定及考虑因素：
未办理结婚登记手续：
如果双方未进行婚姻登记，彩礼原则上需要退还。
未共同生活：
如果双方虽已办理结婚登记，但并未共同生活，彩礼也应退还。
生活困难：
如果婚前给付彩礼导致给付人生活困难，彩礼可以退还。
共同生活并有孩子：
如果双方已经共同生活，并且有了孩子，通常情况下彩礼不需要退还，除非彩礼的给付使给付人生活极度困难。
共同生活时间：
如果双方已经共同生活超过一定时间（如两年以上），即使有了孩子，彩礼也可能不需要退还。
彩礼使用情况：
彩礼的使用情况，如是否已用于共同生活开支，也可能是法院考虑的因素之一。
在实际操作中，法院会综合考虑上述因素，并可能根据案件具体情况作出判决。如果双方对此有争议，可以通过法院起诉，由法院根据具体情况进行判决。
以上信息基于中国法律及相关司法解释，具体情况请咨询专业律师