Мужчина не знакомит меня ни с кем из своего окружения

Встречаемся с мужчиной уже больше трёх лет (познакомились на работе). Но начиналось тогда, когда мы оба были ещё в браке. Сначала я развелась а он после двух лет отношений только ( из-за сына говорил). Сейчас даже после развода никто ( с его стороны) не знает что мы встречаемся. Даже сейчас он пошел на ДР к другу, а там все с женами, а он один. Говорит мне что не хочет этих пересудов не от кого. А мне как то некомфортно от этого. При этом в его чувствах я не сомневаюсь. Он меня любит может быть даже больше чем я и не раз это подтверждал. Но эти тайны отношений меня уже достали. Скажите как быть? Это ведь не есть нормально...