Отношения сына с отчимом

Добрый день всем!! Помогите, пожалуйста советом!!
Ситуация такая: сейчас я во втором браке, от первого брака у меня сын, 5.5лет. Развелись, когда ему годик был.. С папой не общаются, хотя живем на соседних улицах.. Когда сыну было 3 годика я вышла замуж во второй раз.. Жили какое-то время в разных городах(он работал в др.городе) м виделись только по выходным, сейчас неск месяцев живем все вместе.. Сын думает, что это его родной папа.. Но у них отношения "как на качелях": то- вверх, то вниз.. Они могут вместе поиграть чуть-чуть, но редко, по большому счету взаимного притяжения у них нет.. Если какие вопросы, сын обращается только ко мне.. Я говорила мужу как мне важно, чтобы у них был норм контакт..Неоднократно..То все нормально, то могут вообще не подойти за день друг к другу..Мне кажется, если я их не подтолкну друг к другу-они вообще могут не общаться иногда..Разговаривала 1 раз с психологом, она говорит: отпустите их отношения, пусть идут как идут.. А я не могу..Мне кажется, что часто он слишком строг , где не надо, я защищаю ребенка, в итоге-скандал..Я измучилась просто..психом стала, каждый день-слезы.. У мужа своиз детей нет, он ОЧЕНЬ просит родить.. Но не могу я решиться:боюсь..Боюсь, что своего любить будет, а мой -в стороне.. Кошмар какой-то.. Подскажите, если у кого похожая ситуация.. Извините, что длинно..