行政機關作出行政處罰決定決定後，如果想撤銷行政處罰決定，應該向行政處罰相對人出具撤銷行政處罰決定書。行政行為撤銷的條件：
(1)行政行為合法要件缺損。合法的行政行為具備主體合法、內容合法、程式合法三要素，任何行政行為如缺損其中一個或一個以上要件，該行政行為就是可撤銷的行政行為。
(2)行政行為不適當。不適當的行政行為也是可撤銷的行政行為。所謂“不適當”，是指相應行政行為不合理、不公正、不符合現行政策、不合時宜、不符合有關善良風俗等情形。
《中華人民共和國行政處罰法》第七十六條規定，行政機關實施行政處罰，有下列情形之一，由上級行政機關或者有關機關責令改正，對直接負責的主管人員和其他直接責任人員依法給予處分：
(一)沒有法定的行政處罰依據的;
(二)擅自改變行政處罰種類、幅度的;
(三)違反法定的行政處罰程式的;
(四)違反本法第二十條關於委託處罰的規定的;
(五)執法人員未取得執法證件的。
行政機關對符合立案標準的案件不及時立案的，依照前款規定予以處理。
行政處罰是指行政主體依照法定職權和程式對違反行政法規範，尚未構成犯罪的相對人給予行政制裁的具體行政行為。行政處罰特徵是:實施行政處罰的主體是作為行政主體的行政機關和法律法規授權的組織;行政處罰的物件是實施了違反行政法律規範行為的公民、法人或其他組織;行政處罰的性質是一種以懲戒違法為目的、具有制裁性的具體行政行為。
1.行政處罰是以對違法行為人的懲戒為目的，而不是以實現義務為目的。這一點將它與行政強制執行區別開來。行政強制執行的目的在於促使義務人履行義務。
2.行政處罰的適用主體是行政機關或法律、法規授權的組織。這一點使它與刑罰區別開來。刑罰的適用主體是人民法院。
行政處罰與刑罰的區別：制裁的性質不同;適用的違法行為不同;懲罰程度及適用的程式不同;制裁機關不同;處罰形式不同。
3.行政處罰的適用物件是作為行政相對方的公民、法人或其他組織，屬於外部行政行為。這一點將它與行政處分區別開來。行政處分只能適用於行政機關的工作人員或其他由行政機關任命或管理的人員。
行政處罰與行政處分的區別：制裁的物件不同;制裁的行為性質不同;制裁的原則不同;懲罰的範圍和程度不同;採取的形式不同;兩者的救濟途徑不同。
4.行政處罰的前提是行政相對方實施了違反法律規範的行為，而非違反了刑法、民法等其它法律規範的行為。
綜上所述，行政機關在做出處罰之後才發現有錯誤的情況應該及時改正，否則就容易讓受害甚至是其他的公眾認為我們的政府都不守法甚至是侵害了公民的權益而表示極為不信任，這對以後的執法行為是很不利的，但是原則上政府的任何決定都應該一次保證正確而不是反覆修改。
