根據我國的稅法規定，房子退稅費從哪年算起，需要根據具體情況來確定，具體如下：1. 購買新房：購買全國範圍內首套普通住房的個人，在交易稅款實際繳納後2年內，可以向國家申請退回繳納的契稅和營業稅。其中，自購房之日起2年內繳納的相關稅費，可以全部退還。2. 二手房：對於二手房的退稅費從哪年算起，需要滿足以下條件：（1）賣方需要是自用滿兩年的個人；（2）房產證在滿兩年後過戶給買方；（3）賣方的所得稅和其他稅費已經繳納清楚。對於符合上述條件的二手房，退稅費從哪年算起就是滿兩年後的日期（註：這裏的“滿兩年”是指完整的24個月，不足24個月的按照實際月份計算）。退稅費的具體數額，根據當時購房交納的稅費數額來確定。
如果買方在購房時未繳納完相關稅費，能否申請退稅？如果買方在購房時未繳納完相關稅費，則不能享受退稅政策。只有在全部繳納稅費後，方可辦理退稅手續。
對於新房，退稅費從自購房之日起2年內繳納的相關稅費開始計算，並可以全部退還；對於二手房，則需要滿足壹些條件且退稅費從哪年算起為滿兩年後的日期。若存在具體情況需咨詢專業法律顧問。
法律依據：
《個人所得稅專項附加扣除暫行辦法》 第十四條 納稅人本人或者配偶單獨或者***同使用商業銀行或者住房公積金個人住房貸款為本人或者其配偶購買中國境內住房，發生的首套住房貸款利息支出，在實際發生貸款利息的年度，按照每月1000元的標準定額扣除，扣除期限最長不超過240個月。納稅人只能享受壹次首套住房貸款的利息睜歲禪扣除。本辦法所稱首套住房貸款是指購買住房享受首套住房貸款利率的住房貸款。