1. 稅務風險：根據稅法規定，對方開票公司未按照規定繳納稅款可能會被稅務部門追繳稅款，並可能會面臨罰款。在此過程中，您可能會被稅務部門要求提供相關憑證和信息，以證明您與該公司的交易和繳稅情況。
2. 發票效力：根據稅法規定，對方開票公司未按照規定繳納稅款的發票可能會被稅務部門認定為無效發票，您無法在稅務上扣除相關費用，也無法將其作為增值稅進項稅額抵扣。
如果您發現對方開票公司存在不繳稅的情況，建議您采取以下措施：
1. 了解對方開票公司的稅務情況：可以通過查詢稅務部門的相關信息，或與對方公司溝通了解其納稅情況。
2. 調整合作方式：如果發現對方開票公司存在嚴重的納稅問題，您可以考慮暫停與其的合作，尋找合規納稅的供應商。
3. 尋求專業建議：如情況較為復雜，建議您咨詢專業稅務顧問或律師的意見，以幫助您應對可能的稅務風險。
需要註意的是，具體情況可能因地區和相關法規的差異而略有不同。如果您遇到類似問題，建議您咨詢相關領域的專業機構或專家，以獲取準確的指導和建議。