不可以。稅務登記證登出後，必須登出營業執照。法律規定，企業在外地設立的分支機構和從事生產、經營的場所，個體工商戶和從事生產、經營的事業單位自領取營業執照之日起三十日內，持有關證件，向稅務機關申報辦理稅務登記。稅務機關應當自收到申報之日起三十日內稽核併發給稅務登記證件。
《公司法》第七條規定，依法設立的公司，由公司登記機關發給公司營業執照。公司營業執照簽發日期為公司成立日期。 公司營業執照應當載明公司的名稱、住所、註冊資本、經營範圍、法定代表人姓名等事項。 公司營業執照記載的事項發生變更的，公司應當依法辦理變更登記，由公司登記機關換髮營業執照。
