不一定非要拆除，未取得建設工程規劃許可證件或者違反建設工程規劃許可證件的規定進行建設的建設者，且只有當違法建設達到“嚴重影響都市計畫”的程度時，才能作出限期拆除的處罰決定。
《中華人民共和國都市計畫法》第四十條在城市、鎮規劃區內進行建築物、構築物、道路、管線和其他工程建設的，建設單位或者個人應當向城市、縣人民政府城鄉規劃主管部門或者省、自治區、直轄市人民政府確定的鎮人民政府申請辦理建設工程規劃許可證。
申請辦理建設工程規劃許可證，應當提交使用土地的有關證明檔案、建設工程設計方案等材料。需要建設單位編制修建性詳細規劃的建設專案，還應當提交修建性詳細規劃。對符合控制性詳細規劃和規劃條件的，由城市、縣人民政府城鄉規劃主管部門或者省、自治區、直轄市人民政府確定的鎮人民政府核發建設工程規劃許可證。
城市、縣人民政府城鄉規劃主管部門或者省、自治區、直轄市人民政府確定的鎮人民政府應當依法將經審定的修建性詳細規劃、建設工程設計方案的總平面圖予以公佈。
