可以向司法局投訴。
法院調解是指在人民法院法官的主持下，雙方當事人就有爭議的實體權利義務自願協商，達成協議，解決糾紛的活動。調解案件時，當事人應當出庭；當事人不到庭的，可以委托特別授權的代理人到場協商。調解可以由審判員壹人主持，也可以由合議庭主持，並盡可能當場進行。除法律規定的特殊原因外，調解壹般應公開進行。在法庭調解中，被邀請的單位和個人應當協助人民法院進行調解。在法官的主持下，雙方當事人自願協商達成調解協議。協議內容符合法律規定的，應予認可。經調解達成協議的，人民法院應當制作調解書。調解書的內容應當寫明訴訟請求、案件事實和調解結果，由審判人員、書記員簽名，加蓋人民法院印章，送達雙方當事人簽名後，即發生法律效力。
以上內容為相關回答。壹般情況下，如果法院調解員在調解案件時侵害了我們的利益，我們此時可以向司法局提出申訴。如果我們不想做調整，就不用調解，這個時候也不會強行調解。