1、如果因為退房行為給對方造成了損失，則無論是否約定違約責任，都需要賠償對方的經濟損失。
2、如果退房行為沒給對方造成損失，且合同中沒有約定違約責任的話，不需要承擔責任。
3、如果退房行為沒給對方造成損失，但是合同中有違約責任的約定，則需要按照約定來承擔違約責任(如果認為違約責任過重，可以申請法院調低)。
法律依據：《商品房屋租賃管理辦法》 第七條
房屋租賃當事人應當依法訂立租賃合同。房屋租賃合同的內容由當事人雙方約定，一般應當包括以下內容：
(一)房屋租賃當事人的姓名(名稱)和住所;
(二)房屋的坐落、面積、結構、附屬設施，傢俱和家電等室內設施狀況;
(三)租金和押金數額、支付方式;
(四)租賃用途和房屋使用要求;
(五)房屋和室內設施的安全效能;
(六)租賃期限;
(七)房屋維修責任;
(八)物業服務、水、電、燃氣等相關費用的繳納;
(九)爭議解決辦法和違約責任;
(十)其他約定。
房屋租賃當事人應當在房屋租賃合同中約定房屋被徵收或者拆遷時的處理辦法。
建設(房地產)管理部門可以會同工商行政管理部門制定房屋租賃合同示範文字，供當事人選用。
