オフ会での連絡先交換

＞「自分が連絡先を渡していない(=関心を持っていない)相手に対して、連絡先をもらったからといって後から連絡するのは失礼ではないか？」

向こうから関心を持たれたことによりこちらも関心が生まれる、というのは非常によくある心理です。
相手も、連絡が欲しいから連絡先を渡しているわけです。
「連絡したくないから連絡をしない」ならともかく、「連絡してみたいけど失礼かもしれないから連絡しない」はせっかくのチャンスがもったいないような気がします。
ただ、こっちは連絡先渡してないのに気まず～！という気持ちはわかります。

＞あまり気になっていなくてもとりあえず連絡を取る、とりあえずデートするのもアリなのでしょうか？

アリです！！！！！！！！！！
たかだか数時間のオフ会で、相手の人となりを知るのは無理だと思います。
連絡をとったりデートを重ねたりしつついろんな面を知って、自分と合うなとか、こういうところいいなとか、そういう気持ちが育っていくものだと思いますよ。

失礼ではないと思います。
オフ会だけでは関心を持てなかったけど、会ううちに……という可能性もありますし。
恋愛関係にならなくても、同じセクシャリティの者同士友達として仲良くなれるかもしれないし、会うことを「デート」と捉えず「友達と遊ぶ」くらいの気持ちで会ってみてもいいと思います。
友達になれれば、そこを通じて新たな出会いもあるかもしれないし。
とにかく、全く失礼ではないと思います。