@スイカ さん、こんにちは
(日本語の問合せですので、日本語フォーラムに移動しました。更に英語フォーラムでも回答を希望される場合は、英語フォーラムに英語で質問して頂くとよろしいかと)
さて、ご質問の件ですが、
退社された川村さんは、Asanaのメンバーリストに残されてるのでしょうか?
まだ、メンバーリスト内に残っているなら、メンションで表示されないようにするのは難しいと思います。
メンバーリストから削除しても良いのなら、削除されるとメンションでは表示されないと思います。但しメンバーリストから削除すると、過去のタスクとかから川村さんが削除されてしまうという問題も有ります。
こちらとかを参照してみてください。