阿爾山市東鄰呼倫貝爾市所轄紮蘭屯市和興安盟紮賚特旗，南至興安盟科右前旗，西與蒙古國接壤，北和呼倫貝爾市新巴爾虎左旗、鄂溫克族自治旗毗連。東西長142公裏，南北長118公裏，總面積7408.7 平方公裏，轄區內中蒙邊境線長93.434公裏。
截至2020年，阿爾山市下轄4個街道，4個鎮，有林海街道 ，新城街道，溫泉街道 ，伊爾施街道 ，天池鎮 ，白狼鎮 ，五岔溝鎮 ，明水河鎮。
阿爾山市處於特殊的地理環境，海拔高度由西南向東北逐漸升高，全年主要受東南海洋暖濕氣流與西北幹寒氣流影響，屬寒溫帶大陸性季風氣候，又處於大陸型高山氣候區，地方小氣候特征明顯。全年氣溫較低，無霜期短，氣溫日差較大。