精神有缺陷的人普遍缺乏對性的理解能力，因此無法對性行為給予有效的同意。為了保護弱勢群體的特殊利益，防止人們利用受害者的精神缺陷攫取性利益，各國普遍將與這類群體發生性關系視為嚴重犯罪。如日本刑法第178條“利用人的精神喪失或不可抗拒性，或使其喪失精神喪失或不可抗拒性，為猥褻行為或通奸”，以強制猥褻罪或強奸罪處罰。
雖然我國刑法沒有明確規定這種情況，但1984司法解釋寫道:“明知是患有精神病或者精神錯亂(情節嚴重)的婦女而與之發生性關系的，無論犯罪分子采取什麽手段，都應以強奸罪論處。”這個司法解釋雖然失敗了，但還是有參考價值的。
上述解釋遵循了適度家長制的理念——對於精神有缺陷的人，法律應該像父母壹樣，通過限制他/她的自由來保護他/她的福祉，以防止強者剝削弱者。與智障人士發生性關系可能會受到法律的懲罰，客觀上限制了這個群體的性權利。但法律的目的不是幹涉或剝奪他們的性權利，而是保護這個群體的利益不被他人掠奪。
換句話說，如果與智障者發生性關系的人沒有利用後者的弱勢地位，那麽就不存在性侵，法律也不應該幹涉這種私生活，否則就是剝奪了智障者的合法權利。
就像民法認為精神病人沒有民事行為能力壹樣，法律並沒有剝奪精神病人的權利，只是怕有人利用他們的缺陷造成不公平交易。所以，當交易行為對精神病人有利時，那麽這種交易行為可能是有效的。
總之，法律不應該完全禁止精神障礙者的性權利，否則就是通過保護剝奪他們的自由。只有那些利用智障人士缺陷的人才應該受到懲罰，只有那些真正不能理解性行為的意義，沒有性同意的患者才需要法律的特殊保護。