Две беды дети и тоска

Дайте совет пожалуйста. Буду краткой. Так сложилось что я и мой мужчина влюбились друг в друга хотя были в отношениях, но до того момента был инцидент его бывшая и мой нам изменили (мы просто дружили все вместе).То что стало после их измены происходить с нами мне трудно объяснить. Но эти чувства настолько глубокие..что мы в итоге стали жить вместе. Живём уже 5й месяц. По сути всё хорошо у нас...ласка, понимание, любовь, нежность, разговоры о будущем. Беда первая у него есть детки, конечно он им помогает и ходит к ним и я никогда не буду этому противится, наоборот стараюсь готовить им какие то подарочки... и не лезть никуда, что бы детей не травмировать. Но мать их накручивает... в гости к нам с ночёвкой их не пускают даже при условии что я готова в такую ночь уйти спать к подруге, просто что бы мой мужчина побыл на нашей территории с ними. Беда вторая... мы любим друг друга и знаем что это любовь, но иногда скучаем по бывшим, он бывает скучает по ней, да и у меня такое бывает по отношению к бывшему. Но я знаю что точно не хочу быть с прошлым, знаю что люблю человека с которым я сейчас. Может это просто привязанность за годы которые была в браке... мы иногда говорим об этом с моим мужчиной... может это потому что всё так резко случилось, и это как забрать какого то родного человека...ведь как не крути у него за спиной 12 лет отношений, у меня 6... отношения что у него, что у меня последнии пару лет были сложные очень.Но мы не понимаем ...ведь знаем что любим друг друга, и нам вместе хорошо во всех сферах. Конечно если бы детьми не манипулировали и мы могли бы все вместе куда то ездить...было бы проще.