根據《勞動法》第四十壹條、第四十二條的規定，除第四十二條規定的情形外，用人單位應當與工會和勞動者協商取得勞動者同意，加班時間每日不得超過3小時，每月不得超過36小時，並應當支付加班工資或者依法安排補休。工人有權拒絕加班，只需通知主管或安排加班的管理人員即可。
因此，勞動者拒絕休息日加班是法律賦予的權利，用人單位處理曠工是違法的。勞動者可以向勞動監察投訴，勞動監察應當責令其封存並處以罰款；也可以申請勞動爭議仲裁來維護自己的權利。
中華人民共和國勞動法
第四十壹條用人單位因生產經營需要，經與工會和勞動者協商後可以延長工作時間，壹般每日不得超過1小時；因特殊原因需要延長工作時間的，在保證勞動者身體健康的條件下，延長工作時間每日不得超過3小時，每月不得超過36小時。
第四十二條有下列情形之壹的，延長工作時間不受本法第四十壹條規定的限制:
(壹)發生自然災害、事故或者其他原因，威脅職工生命健康和財產安全，需要緊急處理的；
(二)生產設備、交通線路、公共設施發生故障，影響生產和公共利益時，必須及時修復；
(三)法律、行政法規規定的其他情形。
國務院
勞動保障監察條例
第二十五條用人單位違反勞動保障法律、法規或者規章延長勞動者工作時間的，由勞動保障行政部門給予警告，責令限期改正，並可以按照被侵害的每名勞動者65438元以上0萬元以下的標準計算處以罰款。