勞動者遲到早退屬於違反勞動紀律，在勞動者存在不按時上下班的情況下，用人單位有權對此類行為進行一定管理，以維護用人單位正常的經營管理活動。用人單位也有權在規章制度中對於遲到早退等行為進行處罰，以兼顧維護勞動者的合法權益和提高用人單位管理效益。規章制度要生效內容上必須合法合規;流程上必須通過民主程式;條件上必須向勞動者公示。
這並不是意味著用人單位可以任意對違紀行為進行處罰，對於違紀如何處罰的規定也必須合理合法，避免用人單位以違紀的名義侵害勞動者的合法權益。此外，按照相關規定，單位所扣工資不得超過勞動者當月工資的20%，並且扣減後的工資不得低於當地最低工資標準。
《勞動法》中提到，企業與員工簽訂合同時，應將員工應遵守的規章，詳細而明確寫進合同。當員工違反規章制度時，企業可按合同中的規定，讓其繳納違約金，但這並不是罰款。
《勞動法》中沒規定能罰款，也沒有規定不能罰款，但不代表就能罰款。
目前，並無法律授權其可在內部規章制度內設定罰款的條款，也就是說按照目前的法律規定，用人單位根本沒有對員工實施罰款的權利，用人單位該項規定侵害了勞動者的合法權益，該條款為無效條款。
用人單位對員工的罰款，只在以往政企不分的時候才有法律依據，因為當時企業多少有點行政機關的性質，但自從《勞動合同法》實施後，員工和用人單位地位更為平等，用人單位根本無權對員工進行罰款，不論是以‘罰款’的名義，還是以‘扣工資’的名義，也不論是扣罰五百元，還是五十元、甚至五元，都是不合法的。
