男女離婚時候是否要退回彩禮，還需要看實際的情況是否構成了彩禮返還的條件，如果構成了彩禮返還的條件，可以依法要求退回。可以要求返還彩禮的情形包括3種：
1.給付彩禮後悔婚，雙方未辦理結婚登記的；
2.雙方即使已經辦理結婚登記手續，但確未共同生活過就離婚的；
3.婚前給付彩禮導致給付人生活困難，離婚時也可以此為由要求返還彩禮。
【法律依據】
《最高人民法院關於適用《中華人民共和國民法典》婚姻家庭編的解釋(一)》第五條
當事人請求返還按照習俗給付的彩禮的，如果查明屬於以下情形，人民法院應當予以支援：
(一)雙方未辦理結婚登記手續;
(二)雙方辦理結婚登記手續但確未共同生活;
(三)婚前給付並導致給付人生活困難。
適用前款第二項、第三項的規定，應當以雙方離婚為條件。
