1.與孩子共同生活的父母壹方因嚴重疾病或殘疾無法繼續撫養孩子。
2.與子女共同生活的壹方不履行撫養義務，或者虐待子女，或者有其他不利於子女身心健康的情形的。
3.已滿8周歲的子女願意與對方共同生活，且該方有能力撫養。
4、有其他正當理由變更的。
法院就兒童監護權做出裁決時應考慮的主要因素
1.雙方的工作和工資收入。
2.文化水平。
3.照顧好和孩子在壹起的時間。
4.判給壹方後孩子生活環境的變化。
5.壹方的思想素質，因為直接撫養孩子的壹方的思想素質會直接影響下壹代的健康成長。
6.對於10歲以下的孩子，法院在處理撫養問題時會認真聽取他們的意見，並做好記錄。
綜上，離婚時撫養權給男方，實際與女方共同生活時可以起訴變更撫養權。
法律依據:
民法
第1084條
父母與子女的關系並不因父母離婚而消除。離婚後，孩子還是父母雙方的孩子，不管是不是父母直接撫養。
離婚後，父母仍有權利和義務撫養、教育和保護子女。
離婚後，不滿兩歲的子女由母親直接撫養。對於已滿二周歲的子女，父母雙方未能就撫養問題達成協議的，由人民法院根據雙方的具體情況，本著對未成年子女最有利的原則判決。年滿八周歲的兒童應當尊重他們的真實意願。