首先，明白自衛和互毆的區別。
首先需要明確被打回去的行為是否屬於正當防衛。正當防衛是指為了保護國家利益、公共利益以及本人或他人的人身、財產和其他權利不受正在進行的不法侵害而停止不法侵害的行為。如果被害人的還手行為符合正當防衛的條件，那麽他的行為可能被認為是合法的，不承擔法律責任。
但是，如果被害人的還手不是為了防衛，而是為了報復或者打架，那麽他的行為就有可能被視為與對方打架，雙方都需要承擔壹定的法律責任。
第二，考慮行為的方式和後果
在判斷責任時，還需要考慮雙方的行為和後果。如果受害人的還手只是為了自我保護，行為沒有超過必要的限度，那麽他的責任可能相對較小。另壹方面，如果受害者的還手行為過於激烈，甚至對對方造成了嚴重傷害，那麽他的責任可能就比較大。
同時，還手之前也要考慮被打的人的行為。如果被打者已經做出挑釁、侮辱等行為。在被打之前，也可能影響對雙方責任的判斷。
三、責任的確定需要遵循法定程序
需要註意的是，責任的認定不是個人或團體隨意決定的，需要遵循法律程序，由司法機關公正評判。在判斷雙方責任時，要依據相關法律法規和司法解釋，結合案件具體情況，做出公正、公平、合理的判斷。
總而言之:
在打人事件中，如果被打的人還手，責任的判定需要根據具體情況綜合考慮，包括雙方的動機、行為模式、後果等。雙方都可能承擔壹定的法律責任，具體責任的劃分需要遵循法律程序，由司法機關進行公正的審判和判決。
法律依據:
中華人民共和國刑法
第20條規定:
為了保護國家、公共利益、本人或者他人的人身、財產和其他權利不受正在進行的不法侵害，停止不法侵害的行為，給不法侵害人造成損害的，屬於正當防衛，不負刑事責任。
第21條規定:
正當防衛明顯超過必要限度，造成重大損害的，應當負刑事責任，但是應當減輕或者免除處罰。
《中華人民共和國治安管理處罰法》
第9條規定:
因民間糾紛引起的打架鬥毆、損壞他人財物等違反治安管理的行為，情節輕微的，公安機關可以調解處理。經公安機關調解，當事人達成協議的，不予處罰。調解未達成協議或者達成協議後不履行的，公安機關應當依照本法規定對違反治安管理行為人進行處罰，並告知當事人可以依法向人民法院提起民事訴訟。