桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　簡文雲：“謝安南清令不如其弟，學義不及孔巖，居然自勝。”

　　孔車騎少有嘉遁意，年四十余，始應安東命。未仕宦時，常獨寢，歌吹自箴誨，自稱孔郎，遊散名山。百姓謂有道術，為生立廟。今猶有孔郎廟。