Отношения с любовником

Здравствуйте.
Год мы встречались с любовником, я замужем, он женат, двое детей. Все было хорошо, отличный секс. Мне 26, ему 42. Встречались когда ему было удобно, в моей жизни почти не участвовал, между встречами почти не переписывались и диалогов никаких не вели, никуда не ходили, подарки только по праздникам, пару раз ночевали вместе, а так встречи вечером, или в обед, на пару часов, в гостнице, вообще, как это у многих бывает - без обязательств.
Но я начала влюбляться, уж очень он хороший. Про любовь он никогда не говорил, только в начале отношений сказал что боится в меня влюбиться, но развода у него не будет. Потом я слышала от него только что, что он меня обожает, и всё.
И вот, спустя год, ОБ ЭТОМ УЗНАЕТ МОЙ МУЖ. Естественно, был скандал, муж рассказал всё жене любовника. Муж записал на диктофон то, что я ему рассказывала и каялась про встречи и отношения с любовником (но только то, что муж сам узнал), а он отправил это всё жене любовника. Естественно в его семье тоже скандал.
Любовник очень переживал, что муж может меня избить и т.д. (это я узнала от знакомых, которые вышли на любовника). И когда все более менее нормализовалось, у нас состоялся разговор с любовником один на один, в ходе которого он сказал что нам вместе было очень хорошо, но предложил взять паузу в наших отношениях, я когда я решу свои вопросы (а именно, я хотела развестись, но муж отказывает в разводе), то там посмотрим что между нами будет, но так как было - быть не может.
Я боюсь, что со стороны любовника это такой способ слиться от меня. А я как влюблённая дура, унижалась, извининялась, признавалась ему в любви. Прошёл месяц, ничего не сдвинулось с мёртвой точки. За всё время от него было 2 сообщения, это комплимент, что мне идёт платье, и интересовался что случилось, когда увидел меня в больнице.
Я боюсь, что это конец нашей с ним связи, подскажите, как быть? Что делать? И надо ли? #любовник