虐待罪侵犯的客體是由人身權利和平等權利組成的複雜客體。
首先，虐待罪的首要客體為人身權利。我國《刑法》分則按犯罪的客體型別將所有罪名劃分為十章，虐待罪被置於《刑法》侵犯公民人身權利、民主權利一章中。很顯然，我們由此可以得出的結論是虐待罪客體必定涉及人身權利。人身權利指的是與人自身直接相關的權利，如生命權、健康權等都屬於人身權利。在所有的虐待案件中，所有的行為人都是通過對被害人的生命權、健康權(包括精神健康)進行侵害從而達到虐待的不法目的。如常見的被害人被行為人虐待重傷或者死亡，這是典型的侵害人身權利的行為。因此，從虐待罪的行為實施模式上看，也不難得出其客體應該為公民的人身權利。《刑法》設定虐待罪，就是通過刑罰來預防和懲罰虐待行為，以保護公民的生命權和健康權不受侵害。因此，人身權利應當是虐待罪的首要客體。
其次，家庭個體成員所享有的平等權利應為虐待罪的次要客體。虐待罪是一個與家庭關係聯絡緊密的犯罪。而家庭是一個相對封閉、自治、私密的環境，受外界影響較少。家庭關係主要依靠傳統道德來進行維繫，在這樣的環境中，家庭成員之間形成的家庭關係地位，主要取決於成員自身的身體條件、經濟條件等。因此，身體、經濟等方面條件較好的青年人一般有著較高的家庭地位，而老人、婦女、兒童往往處於劣勢地位。雖然法律對公民輸出的是人人平等的價值觀，但在一個相對封閉、自治的家庭環境中，依靠道德規範之力量難以完全有效調整家庭成員之間的關係，處於劣勢的家庭成員難免成為受侵害物件，從而打破這種家庭成員權利平等的格局，隨之出現的是兒女對父母不管不顧，有病不給醫治，父母對孩子隨意打罵等各種侵犯家庭成員平等權利的行為。因此，當道德規範難以調整家庭平等關係的時候，需要法律介入進行規範，虐待罪的設定，就是為家庭成員間行為設定了一道底線，一切僭越這條底線的行為將會受到刑罰的制裁。
根據規定，虐待罪屬於告訴才處理的自訴案件，一般採取不告不理的原則;被虐待人可以直接向人民法院提起訴訟。但是，對於虐待家庭成員，致使被害人重傷、死亡的，則屬於公訴案件，公安機關應當立案偵查。
