Сын vs мужчина

Уважаемые 7янки, интересно ваше мнение вот по какой ситуации: мне 33 года, сыну 9 лет, 4 года как разведена из них 2 года встречаюсь с мужчиной (41 год, разведен, сын 13 лет). Мужчина замечательный во всех отношениях, живем мы отдельно, периодически ночуем то у меня, то у него, ездим отдыхать вместе, иногда с детьми.
Проблема в том, что он не хочет начинать жить вместе, мотивируя тем, что сомневается сможем ли мы жить вместе, боится второго неудачного брака (он мучительно расставался с первой женой), а вчера он мне признался, что не уверен, что сможет ужиться с моим сыном... Сын у меня всегда отличался гиперактивностью, холерик, сейчас еще и характер стал проявлять, упрямится, огрызается, мне самой с ним бывает тяжело, а мужчина вообще привык к спокойным флегматичным детям и мой его явно раздражает. Для меня его признание было, как удар под дых и я понимаю, что изменить вряд ли что-то смогу...
Мне всегда казалось, что если я буду нужна мужчине, то и мой ребенок тоже, а тут получается, что жить только со мной он согласен. а с ребенком нет (я такой вариант не рассматриваю в принципе).
В чем здесь проблема, на ваш взгляд, в ребенке или в отношении ко мне? Были ли у вас такие ситуации в жизни?