交通事故責任認定書下來以後調解不成的，可以直接起訴。交通事故責任認定書下來以後，如果不服事故責任認定，在收到認定書的三日內，可以申請複核。
根據道路交通事故處理程式規定五十一條，當事人對道路交通事故認定有異議的，可以自道路交通事故認定書送達之日起三日內，向上一級公安機關交通管理部門提出書面複核申請。複核申請應當載明覆核請求及其理由和主要證據。簡易程式處理的道路交通事故複核不會受理，普通程式處理的送達3日內可以提出複核。
法律依據：《道路交通事故處理程式規定》第七十一條
當事人對道路交通事故認定或者出具道路交通事故證明有異議的，可以自道路交通事故認定書或者道路交通事故證明送達之日起三日內提出書面複核申請。當事人逾期提交複核申請的，不予受理，並書面通知申請人。
複核申請應當載明覆核請求及其理由和主要證據。同一事故的複核以一次為限。
