郗司空在北府，桓宣武惡其居兵權。郗於事機素暗，遣箋詣桓：“方欲共獎王室，脩復園陵。”世子嘉賓出行，於道上聞信至，急取箋，視竟，寸寸毀裂，便回。還更作箋，自陳老病，不堪人閑，欲乞閑地自養。宣武得箋大喜，即詔轉公督五郡，會稽太守。

　　君子素其位而行，不愿乎其外。素富贵，行乎富贵；素贫贱，行乎贫贱；素夷狄，行乎夷狄；素患难行乎患难，君子无入而不自得焉。在上位不陵下，在下位不援上，正己而不求于人，则无怨。上不怨天，下不尤人。故君子居易以俟命。小人行险以徼幸。子曰：“射有似乎君子，失诸正鹄，反求诸其身。”

　　謝公聞羊綏佳，致意令來，終不肯詣。後綏為太學博士，因事見謝公，公即取以為主簿。