犯罪嫌疑人行賄後對方主動退回行賄款的構成行賄罪，因為行賄本來就是行為犯，只要嫌疑人為了謀取不正當利益有行賄的這個行為，行賄數額在1萬元或3萬元以上的就構成犯罪了。不過對方及時退回行賄款的話，那麼對方不構成受賄罪。
法律依據：根據《關於辦理貪汙賄賂刑事案件適用法律若干問題的解釋》的規定：
第七條，為謀取不正當利益，向國家工作人員行賄，數額在三萬元以上的，應當依照刑法第三百九十條的規定以行賄罪追究刑事責任。
行賄數額在一萬元以上不滿三萬元，具有下列情形之一的，應當依照刑法第三百九十條的規定以行賄罪追究刑事責任：
(一)向三人以上行賄的;
(二)將違法所得用於行賄的;
(三)通過行賄謀取職務提拔、調整的;
(四)向負有食品、藥品、安全生產、環境保護等監督管理職責的國家工作人員行賄，實施非法活動的;
(五)向司法工作人員行賄，影響司法公正的;
(六)造成經濟損失數額在五十萬元以上不滿一百萬元的。
