可以退回的。非法集資屬於犯罪行為，如果當時已經立案的話應由偵查機關追回，沒有立案的話建議先進行報案處理。如果合同有明確約定的話可以民事訴訟方式追回來。因參與非法吸收公眾存款、非法集資活動而受到的損失，由參與者自行承擔，所形成的債務和風險，不得轉嫁給未參與非法吸收公眾存款、非法集資活動的國有銀行和其它金融機構以及其它任何單位。
【法律依據】
《刑法》第一百九十二條，以非法佔有為目的，使用詐騙方法非法集資，數額較大的，處五年以下有期徒刑或者拘役，並處二萬元以上二十萬元以下罰金;數額巨大或者有其他嚴重情節的，處五年以上十年以下有期徒刑，並處五萬元以上五十萬元以下罰金;數額特別巨大或者有其他特別嚴重情節的，處十年以上有期徒刑或者無期徒刑，並處五萬元以上五十萬元以下罰金或者沒收財產。
