后果严重的可以。
人民调解员有下列情形之一的,由其所在的人民调解委员会给予批评教育,责令改正,情节严重的,由推选或聘任单位予以罢免或者解聘:
(一)严重偏袒一方当事人引起后果的;
(二)侮辱当事人引起后果的;
(三)向当事人索取、收受财物或者牟取其他不正当利益的;
(四)泄露当事人的个人隐私、商业秘密引起后果的;
(五)任期内累计年度考核不合格的;
(六)工作失误或推诿拖拉引起矛盾纠纷激化、造成上访、影响恶劣和重大损失的;
(七)无故不履行职责的;
(八)其他不能胜任人民调解工作的。