空いた距離を埋めたい

片思いのお相手に嫌われてしまったのか、距離が空いた気がします。
関係を修復したいので相談させてください。

お相手は同じ職場で、別部署の上司です。
ときどき顔を合わす程度で、会うと笑顔で手を振ってくれていました。

先日、残業中にふと振り返るとお相手と目が合い、驚いてすぐに顔を逸らしてしまいました。会いたいな〜と考えていた時だったので、恥ずかしさのあまりそのような反応をしてしまいました。
それ以降、お相手とあまり目が合わなくなった気がします。
お互い視界に入る距離にいてもお相手が顔を別の方向に向けていたり、顔を上げると遠くにいるお相手がパッと顔を背けるような感じです。
以前はこんな事無かったので、先日の態度が気に障ってしまったようで心配です。
非常に後悔しています。

気にしすぎなのかもしれませんが、今後どう接するべきかアドバイスをよろしくお願いします！