Вопрос мамам подросших деток: как скоро

Вопрос мамам подросших деток: как скоро ребенок начинает хоть немного разбираться в людях? И начинает ли вообще? :-(
Ситуация: ушла от мужа, забрав ребенка, почти четыре года назад. Ушла не от хорошей жизни: ситуация действительно была кошмарная, очень не хочется сейчас ее вспоминать и перегружать тему. Супруг издевался как мог, пользуясь тем, что ребенок маленький и уйти нам было некуда... Ушла, когда появились опасения за безопасность ребенка, и удалось найти какую-то работу и жилье. Ребенок маленький был, этого не помнит.
После ухода муж трепал нам нервы очень долго, таскал по судам, сначала пытаясь лишить прописки в его кв, потом - отсудить ребенка. При этом повидать самого сына приезжал крайне редко, в-основном, когда привозил очередную повестку или копеечные алименты. От просьб как-то поучаствовать в жизни ребенка, купить ему одежду или продукты откмахивался, мотивируя это то занятостью на работе, то покупкой квартиры для себя и своей новой женщины, то ремонтом в этой самой квартире...даже мультяшки сыну покупала сама, т.к. муж считал, что с него достаточно уплаты алиментов. На новый год и ДР ребенка все же появлялся, даже игрушки дарил, копеечные, правда, с поселкового рынка...
В это время я встретила хорошего человека, который взял на себя заботу о нас, буквально заново переписав мою жизнь. Сейчас мы живем втроем, мой ребенок привязан к моему НМ, ждет его с работы, у нас очень веселая и дружная семья. НМ - чудесный, терпеливый человек, действует всегда в интересах ребенка, часто защищает его, если я сержусь, очень помогает нам и словом, и делом. Сын изменился до неузнаваемости, прекратились истерики и сложности в общении, наконец-то адаптировался в детском саду, завел себе там друзей. Мальчику сейчас шесть лет, он умненький, ласковый, адекватный ребенок.
Проблема у нас только одна - мой бывший супруг. Напоминает он о себе все реже, но с его появлением наш хрупкий мир просто переворачивается вверх тормашками. Он звонит ребенку, задает пару дежурных вопросов, заявляет, что возьмет его к себе на выходные. Ребенок счастлив, живет надеждой, постоянно говорит о папе, ждет этих выходных с нетерпением... Выходные наступают - тишина... Звоним ему на мобильный - никто не берет трубку. На следующий день то же самое. Ребенок, кроме как о папе, говорить больше ни о чем не может. Папа самый лучший, замечательный, хочу к папе, почему он не приезжает, и т.д...
Еще через неделю-две супруг наконец объявляется с набором детских отмазок - уезжал, позвонить не мог, ты не брала трубку, и пр. И забирает-таки ребенка на следующие выходные. Я возмущена, конечно, но не запертишь же свидания сыну, который бредит папой уже вторую неделю!!
В воскресенье он его привозит - счастливого, с соплями, хрипом и кучей "человеков-пауков" китайского производства. Выясняется, что ребенок у папы не гулял вообще, потому что приемная папина дочка лежала с температурой, а он с ней играл. Или - что гулял во дворе. ОДИН, без взрослых. А забирал его папа к себе, потому что был праздник и у него были гости.
Отдав ребенка, папа растворяется. Примерно на полгода - до следующего семейного праздника, где можно предъявить дите обществу. Хорошо, если позвонит за это время...раза два. С Новым годом, например, он сына так и не поздравил.
Было бы это еще полбеды, но сын уверен, что папа у него - самый лучший, а также бабушка, бывшая активным инициатором всех наших семейных конфликтов. И с порога мне выдаются фразы такого плана: "Мой папа хороший, ты, мама, хорошая, а дядя N (мой НМ, который, собственно, и заботится о ребенке) - не очень хороший, он меня плохими словами обзывает!" "Плохие слова" - это шутливые прозвища, которые мы даем друг другу, когда втроем играем и возимся.
Меня от таких заявлений, честно говоря, просто трясет. Я не знаю что делать, какую позицию занять по отношению к мужу и ребенку. Я очень боюсь, что это вмешательство БМ в нашу жизнь при его откровенном равнодушии к самому ребенку спровоцирует в будущем тяжелые конфликты и помешает наладить нормальные отношения между ребенком и НМ, который очень старается это сделать. Я не хочу, чтобы этот человек использовал моего сына, чтобы заработать себе очки на публике. С другой стороны, я не хочу внушать ребенку, что "папа плохой" и не любит его, не хочу травмировать его еще больше. Я так долго пыталась сгладить последствия нашего разрыва! Остается лишь надеяться, что подросший ребенок сам разберется в ситуации и сделает выводы... но когда это будет? И не будет ли тогда слишком поздно пытаться наладить в семье нормальные отношения?
Я очень устала... Я очень хочу чтобы БМ исчез и не уродовал нашу жизнь. Может, кто-то был в аналогичной ситуации, и сможет посоветовать, что делать?