トランスジェンダーの女性に聞きたいです

恋愛相談かなとも思ったのですが、人生相談にさせていただきました。理由としてはトランスジェンダーの方と付き合っていたのですが別れたからです。
私はもともと男性恐怖症(軽度)で、その方とはネットで知り合い男性だと思っていました。その後色々あり、女性であることや好意を持っていることを告白され恋人になることになりました。男性恐怖症ではありますが、決まった条件でしかならないので普通に過ごす分には問題なく男性でも付き合っていたと思います。

前置きが長くなってごめんなさい
問題はその条件で「性的な話をされると恐怖を感じる」というものです。付き合ってすぐに匂わせるような会話があり、怖くなってしまったんです。心は男性でも身体は女性なので男性恐怖症と言っていいか分かりませんでした。何よりこのことを言えば男性だと思われていないと傷つけたり、「心は男でも身体は女なのに男性恐怖症だなんておかしい」と言われるのではないかとも考えてしまい相談することができませんでした。性別(ジェンダー)についてはデリケートな問題ですし、私自身付き合うのも女性に好意を抱くのも初めてだったのでどうすればいいか分からず気まずくなってしまいました。私が学生で相手の方が社会人だったのもありその後話すことはほとんどありませんでした。
結局は相談しないまま距離が開いて別れる結果になってしまったのですが、この場合は聞いても良かったのでしょうか。また、聞いた場合どのように相談すれば良かったのかを教えてほしいです。