「ごめん」と言われて、何と返事をすれば、許していない感じがしますか？

職場での話です。

仕事が出来なくて私に沢山迷惑をかける同僚がおり、仕方がないので私が代わりに仕事を進めることがよくあります。
本人も自覚はあってよく謝罪はされるので、謝られた場合は、「大丈夫です、気にしないでください」と笑顔で返しています。
しかし、最近その「大丈夫です」と発言するのがとても苦しいです。
6月初旬から同僚に迷惑をかけられることが続き、イライラが限界です。
全く大丈夫ではなく、すごく嫌で怒っているけど、社会人として円滑に仕事を進めるためにはいちいち怒っていられない状況でもあります。
私は八方美人だから職場の人にいい人だと思われたいし、怒って職場の空気を悪くする人とは思われたくないので、怒りはしないけど、ごめんと謝られた際に「大丈夫」と言わず、言外に許していない感じを匂わせたいです。
そんな言い方の違いは気づかれないかもしれませんが、自己満足みたいなものです。
とりあえずもう「大丈夫」は言いたくないです。
皆さんならなんと返しますか？
私は、「はーい」とだけ、普通のトーンで返そうかなと思うのですが、どう思いますか？
もっと良い返しがあったらアドバイスを下さい。

自分自身がめんどくさい奴だという事や、性格が悪い事は自覚しているので、そういった指摘のような中傷のようなコメントは不要です。
知恵を貸してやろうという人がいましたら、コメント頂けると幸いです。