根據《勞動合同法》第二十二條規定，用人單位為勞動者提供專項培訓費，對其進行專業技術培訓的，可以與勞動者訂立協議，約定服務期。第二十三條用人單位和勞動者可以在勞動合同中約定保守用人單位的商業秘密和與知識產權有關的保密事項。
所以只有兩種情況才能約定由勞動者支付違約金。它們是:
1，用人單位為勞動者提供專項培訓費，可以約定違約金；
2.用人單位與勞動者約定競業限制條款的，可以約定違約金。
綜上，違約金的約定是無效的，因為違反了勞動合同法，所以不承擔違約責任。