Я не знаю, как себя вести:(

Преамбула, длинная (короче не умею..):
Фактически семьи в нормальном понимания этого слова уже нет. Когда мы перестали все делать вместе как муж и жена, сложилось, что муж может взять сына и без меня пойти в гости. Вроде, никакого криминала.
Сыну 4 с половиной. Образ Папы и мамы для него по отдельности, а не вместе..
Так получилось, что полгода назад мы схехали со съемной квартиры, и пока не поселились в новую, я с ребенком жила у родителей. Муж под предлогом, что не хочет скандалов (неудачный опыт жизни вместе уже был), сказвл, что будет жить на студии (благо она загородом в отдельном доме). Я и непротив.
Он регулярно забирал сына или на работу или в гости. На выходные. Я не возражала. Иногда и на неделю. Я уже возражала, но изменить ситуацию не могла: он же брал на выходные, "он же скучал, ну, ведь, не виноват, что так сложилось, что временные траблы с кв". А потом просто не привозил. "Я же папа. Паво имею. Ты запрещаешь видеться?..."
Приехать туда я не могла, т.к. Место его работы, так же как и м/ж друзей меня "не касаются".
В чем проблема?
Однажды я поняла, что есть мадам (с ребенком и без папы), у которой на неделе частенько живут муж с сыном. Мадам есть уже как минимум год, как я сейчас понимаю, складывая все ситуации.
На наличие мадам мне с большой колокольни плевать, но то, что какая-то тетя в течении недели за ним смотрит (у мужа график свободный, но не на стока, чтобы неделями безвылазно загиматься ребенком)..
Все это муж отрицает. Типа "нет никого, я работаю". Хотя, знает, что на его личную жизнь мне плевать. Пусть живет, но не при ребенке..
Да, для полной картины: Разводиться муж не желает. Тока если я сама от них уйду.

Теперь проблема:
Как мне себя вести?
Шуметь, что я знаю точно о наличии мадам и не разрешаю ребенку ездить к ней? Так он может сказать, что никакой мадам нет, что это бред, а есть ребенок, к которому они едут в гости.
Да, сейчас мы снова переезжаем на съемную квартиру. Поэтому, если он захочет увезти его на долго, я могу возражать, т.к. теперь его отмаз про "соскучался, хочу побыть вместе" не актуален. Тут,ведь, отдельная квартира, и "не моя проблема, что ты почему-то не живешь тут. Я ж не выгоняю.. Официально мы семья. Ребенок должен жить в семье. И если ты выбираешь иное - не повод увозить его от мамы, т.е. меня".
- я права в таком рассуждении?

Когда я предлагала разойтись по-хорошему, договориться о времени с ребенком и т.п., он отказался. Считает, у нас нормальная семья, да не самая счастливая, но ...бывает.

За советом я.
Как вести себя?
Пребывать в "неведении" относительно мадам? (думаю, он отрицает ,но понимает, что я знаю, но просто не могу доказать это, или замалчиваю это почему-то...)
Доказать ее наличие и запретить?
Разрешить ездить тока на выходные?
Разрешить ездить тока на выходные с условием при нем ни-ни? Но даже если сын спать будет отдельно, он же будет знать, что "папа спал с мадам" ( в смысле в кровати)? :(
А это он уже наблюдал..
(Жил-то последнее время папа с мадам, беря туда сына, а не с мамой).
Были бы мы в разводе, вопрос бы не стоял. Но он этого не хочет, говорит, что "ради сына разводиться нельзя"...

Развестись, прошу, не советовать. Итак планирую, но по некоторым причинам афишировать это намерение мужу пока нельзя.
А понять, как себя вести СЕЙЧАС, надо.