デミセクの私 告白をするかしないか

今度4回目のデートを家でやる予定です。
LINEは1〜3日おきに1ラリー(お互い元々LINEを開かない、返信は毎回丁寧な内容で返信してくれる)、シフト制で予定が合わないこともありデートは月1回です。
私はデミセクなこともあり、まだ好きという感情はなく、もっと知りないなといった段階です。
ゆっくり今のペースで関係を築いていきたい気持ち半分、他の人に取られる前にアクションを起こした方がいいのかという気持ち半分で告白をしようか迷っています。
相手を取られたくないけれど、まだ好きでもない相手に告白するのは失礼でしょうか。
みなさんは何回目のデートで告白をされましたか？
また、4回目で何もアクションがないと気持ちは冷めるものでしょうか。