Сказал, что уйдет к своей бывшей жене если она потребует..

Мы с ним 2 года вместе. Расстался он со своей женой (гражданской, но не суть) еще до меня. У них есть ребенок общий, 5 лет. Я никогда его не ревновала к прошлому, не любит он ее короче, я это просекаю. Но сына своего очень любит,обеспечивает материально(естественно),забирает к себе на выходные..хороший отец. Это тоже я считаю нормально, никогда к сыну его не ревновала. Считаю что если бы он сыном своим не интересовался(как многие),характеризовала бы его не с лучшей стороны. Вчера задала ему вопрос, что будет если его бывшая поставит вопрос ребром :" Или ты возвращаешься ко мне или ребенка больше не увидишь!" Как он поступит? Он честно ответил, что он этого категорически не хочет, но ребенка он очень любит и ему придеться вернуться к ней,если такое не дай бог произойдет.
Т.е. у меня гарантий никаких нет,хотя он и любит меня(сужу по поступкам,по словам и глазам))
И что мне делать? Жить на пороховой бочке,ожидая когда его бывшая поставит ультиматум?
Залететь самой? Нет,этого я никогда не сделаю. Я мужика таким способом удерживать не собираюсь,это унизительно. Я вообще ни за кого держаться не собираюсь.
Но что мне делать?