Стоит ли верить своим ощущениям?

Живу с мужчиной 3,5 года. У меня двое детей от первого брака,у него один. Общих детей нет.Мне 34 года, ему 33.
Живем хорошо, с обоих сторон желание понять друг друга в конфликтных ситуациях, а не тупо задавить, особенно он старается. Помогает мне воспитывать детей, объясняет им доброе, мудрое, вечное, ищет способы быть им другом. Дети его любят и хотя роднйо папа никуда не исчез из их жизни, мужчина очень важен для них. Кроме этого, в быту помогает, подарки дарит, покупка еды, коммунальные услуги почти все на нем.
Все это время периодически всплывает тема, что, как мне кажется,он любит свою первую жену. Были разные ситуации за эти годы, всплывали редко, но было. И вот сейчас у его сына день рождения. Я заранее искала подарок, так как разбираюсь в этом больше, чем он. Его сын ко мне относится хорошо, любит у нас бывать в гостях. Он пригласил меня и моих детей на день рождения (я ему сказала, что может приду, хотя идти не собиралась, с его мамой я не общаюсь и думаю, что она не будет рада, если я приду к ней в дом). Мужчина еще заранее говорил, что сын хочет, чтобы мы приехали все вместе - он, я , мои дети, бабушка-дедушка, тетя. При этом говорил - мы раньше всегда ездили его поздравлять всей семьей , но сейчас, это, конечно, невозможно. Звонит вчера - сын тебя приглашает тоже, ты пойдешь? Причем, говорит таким тоном, что мое присутствие там невозможно. И стало мне так неприятно, что он по прежнему хочет перед своей бывшей держать лицо, будто он один и она в любой момент может вернуться.
Я параноик или действительно все не так?