Любовник напрашивается в гости

Мы встречаемся 2.5 года.Я замужем,он женат.Чувства возникли внезапно,и страсть дикая .Он предлагает уйти,чтобы жить с ним.Я его люблю,но пока не решаюсь.У меня ребёнок,и у него.Пытались расстаться-не получилось.Терять его не хочу.Но у него сдвиг-просится ко мне домой-просто на чай.У нас есть где встречаться.Сам звал меня к себе,когда никого не было.Обиделся,что не пошла.Я сказала,что для меня это табу.Должно быть уважение,ко вторым половинам.Он говорит,значит я для тебя просто никто.Что тоже никогда бы никого не позвал к себе,а тут любовь накрыла.И обижается нереально!Просто помешался.Я не могу понять его ЗАЧЕМ?Говорит,что все знакомые,кто долго встречаются,были у своих женщин.А мне всегда казалось,что это ненормально.Он говорит,что я не права.Как считаете?