Мужчина с детьми от первого брака

Я живу 2 года с мужчиной. Он старше меня на 6 лет. Мне 25, ему 31. У него трое детей. С бывшей женой развелся. Дети и бывшая жена живут в другом городе (4 часа езды). Меня напрягает, что он ходит видеться с детьми в квартиру, где живет его бывшая жена с детьми, до этого он там ночевал, на что я много раз возражала, по итогу он перестал там спать. Но сейчас он ходит туда в квартиру, днем может там поспать. Сейчас они все уехали на лето, и он теперь ходит в квартиру поливать цветы. У него есть ключи, и он свободно может туда попасть. На мои возражения он говорит, что квартира его родителей и детей его, и они ей разрешили там жить с детьми. Она прописана в этой квартире, родители его и он. Я уже устала от этих похождений каждый месяц, не знаю, что делать. Я готова уже расстаться. #отношения