オフ会での連絡先交換

＞「自分が連絡先を渡していない(=関心を持っていない)相手に対して、連絡先をもらったからといって後から連絡するのは失礼ではないか？」

向こうから関心を持たれたことによりこちらも関心が生まれる、というのは非常によくある心理です。
相手も、連絡が欲しいから連絡先を渡しているわけです。
「連絡したくないから連絡をしない」ならともかく、「連絡してみたいけど失礼かもしれないから連絡しない」はせっかくのチャンスがもったいないような気がします。
ただ、こっちは連絡先渡してないのに気まず～！という気持ちはわかります。

＞あまり気になっていなくてもとりあえず連絡を取る、とりあえずデートするのもアリなのでしょうか？

アリです！！！！！！！！！！
たかだか数時間のオフ会で、相手の人となりを知るのは無理だと思います。
連絡をとったりデートを重ねたりしつついろんな面を知って、自分と合うなとか、こういうところいいなとか、そういう気持ちが育っていくものだと思いますよ。