根據《中華人民共和國刑法》，非法出售、私自贈送、非法提供、非法購買、非法運輸、非法出境的，是犯罪。但是，如果公務員擁有祖先留下的玉器，並且能夠提供合法的證明材料，如家庭繼承證明、文物鑒定證明等，證明該玉器屬於合法的文物所有權，那麽公務員在遵守相關法律法規的前提下，出售祖先留下的玉器是合法的。