Стоит ли уходить от хорошего мужчины?

Добрый день, нужен совет как поступить в моей ситуации. Мне 40 лет, выгляжу хорошо, зарабатываю тоже хорошо. Сейчас живу с мужчиной (46 лет, женат не был, успешен, хорошо выглядит), до этого встречались 3 года. На момент, когда начали встречаться, я не хотела серьезных отношений, думала будет короткая интрижка, чтобы отойти от развода, его это устраивало, но влюбилась и все затянулось. Теперь понимаю, что хочу от него ребенка и замуж, чтобы у нас была семья. Он ничего не хочет менять, все устраивает. У меня дилемма, с одной стороны, я понимаю, что если буду с ним, то семьи в классическом понимании не будет, а если уходить, то сидит страх, что не смогу найти кого-то приличного. Посоветуйте как поступить.