只有您實施嚴重侵害孩子身心健康和合法權益的行為，或者不作為導致孩子處於危困狀態等情況，才可能被撤銷監護權。
相關法律規定:
《中華人民共和國民法典》第二十七條父母是未成年子女的監護人。
未成年人的父母已經死亡或者沒有監護能力的，由下列有監護能力的人按順序擔任監護人:
（一）祖父母、外祖父母;
（二）兄、姐;
（三）其他願意擔任監護人的個人或者組織，但是須經未成年人住所地的居民委員會、村民委員會或者民政部門同意。
《中華人民共和國民法典》第三十六條監護人有下列情形之一的，人民法院根據有關個人或者組織的申請，撤銷其監護人資格，安排必要的臨時監護措施，並按照最有利於被監護人的原則依法指定監護人:
（一）實施嚴重損害被監護人身心健康的行為;
（二）怠於履行監護職責，或者無法履行監護職責且拒絕將監護職責部分或者全部委託給他人，導致被監護人處於危困狀態;
（三）實施嚴重侵害被監護人合法權益的其他行為。
本條規定的有關個人、組織包括:
其他依法具有監護資格的人，居民委員會、村民委員會、學校、醫療機構、婦女聯合會、殘疾人聯合會、未成年人保護組織、依法設立的老年人組織、民政部門等。
前款規定的個人和民政部門以外的組織未及時向人民法院申請撤銷監護人資格的，民政部門應當向人民法院申請。
《中華人民共和國民法典》第一千零八十四條父母與子女間的關係，不因父母離婚而消除。
離婚後，子女無論由父或者母直接撫養，仍是父母雙方的子女。
離婚後，父母對於子女仍有撫養、教育、保護的權利和義務。
離婚後，不滿兩週歲的子女，以由母親直接撫養為原則。
已滿兩週歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利於未成年子女的原則判決。
子女已滿八週歲的，應當尊重其真實意願。法律依據：《中華人民共和國民法典》第二十七條
父母是未成年子女的監護人。
未成年人的父母已經死亡或者沒有監護能力的，由下列有監護能力的人按順序擔任監護人：
（一）祖父母、外祖父母；
（二）兄、姐；
（三）其他願意擔任監護人的個人或者組織，但是須經未成年人住所地的居民委員會、村民委員會或者民政部門同意。
《中華人民共和國民法典》第三十六條
監護人有下列情形之一的，人民法院根據有關個人或者組織的申請，撤銷其監護人資格，安排必要的臨時監護措施，並按照最有利於被監護人的原則依法指定監護人：
（一）實施嚴重損害被監護人身心健康的行為；
（二）怠於履行監護職責，或者無法履行監護職責且拒絕將監護職責部分或者全部委託給他人，導致被監護人處於危困狀態；
（三）實施嚴重侵害被監護人合法權益的其他行為。
本條規定的有關個人、組織包括：其他依法具有監護資格的人，居民委員會、村民委員會、學校、醫療機構、婦女聯合會、殘疾人聯合會、未成年人保護組織、依法設立的老年人組織、民政部門等。
前款規定的個人和民政部門以外的組織未及時向人民法院申請撤銷監護人資格的，民政部門應當向人民法院申請。
