如果購貨方發票已經抵扣，那發票是不需要退回的。但開紅字發票的信息表需要購買方申請，審核通過後，購貨方需要將紅字發票信息表蓋上公司公章或發票專用章給銷售方，銷售方根據紅字發票信息表開紅字發票給購買方；如果不屬於上述情況，則需要退回發票。
法律客觀：《中華人民***和國發票管理辦法》第十九條銷售商品、提供服務以及從事其他經營活動的單位和個人，對外發生經營業務收取款項，收款方應當向付款方開具發票；特殊情況下，由付款方向收款方開具發票。《中華人民***和國發票管理辦法》第二十壹條不符合規定的發票，不得作為財務報銷憑證，任何單位和個人有權拒收。