行政機關作出行政處罰決定決定後，如果想撤銷行政處罰決定，應該向行政處罰相對人出具撤銷行政處罰決定書。行政行為撤銷的條件：
(1)行政行為合法要件缺損。合法的行政行為具備主體合法、內容合法、程式合法三要素，任何行政行為如缺損其中一個或一個以上要件，該行政行為就是可撤銷的行政行為。
(2)行政行為不適當。不適當的行政行為也是可撤銷的行政行為。所謂“不適當”，是指相應行政行為不合理、不公正、不符合現行政策、不合時宜、不符合有關善良風俗等情形。
《行政處罰法》第五十五條規定：行政機關實施行政處罰，有下列情形之一的，由上級行政機關或者有關部門責令改正，可以對直接負責的主管人員和其他直接責任人員依法給予行政處分：
(一)沒有法定的行政處罰依據的;
(二)擅自改變行政處罰種類、幅度的;
(三)違反法定的行政處罰程式的;
(四)違反本法第十八條關於委託處罰的規定的。
