@Shihori さま Asanaが言うには、組織に登録済みのメンバー（ゲストも？）は、漏れなく表示される仕様だそうです。 その方が有益で、新しいメンバーにタスクを割り振るとか便利だとのこと。
だいぶ前（２０１８年とか）から、要望有るようですので、こちらのフィードバックにも賛成されてはどうでしょうか？