Объясните

Пишу здесь редко, читаю часто. Очень хочу услышать точку зрения альтернативную моей, понять чего в этой ситуации больше - эгоизма мужа или моего непонимания.
Мои родители живут в 40 км от нас, работают, своего внука видят очень редко, т.к. в рабочие дни он в школе, а выходные мы всегда проводим семьей (муж очень не любит, чтобы в выходные мы общались с его или моими родителями). В осенние каникулы сын болел и в гости к моим мы не поехали. Сейчас мои родители приглашают сына на новогодние каникулы к себе. Конечно на все каникулы я бы его не опустила, а вот дня на 2-3 погостить - с удовольствием. Вчера в очередной раз была ссора: муж говорит, что готов пожертвовать своим выходным и съездить всем вместе поздравить моих родителей, но вот оставлять там сына - ни в какую, ведь у него и так мало возможности с ним общаться (это при том что каждый рабочий день он дома в 7 вечера и выходные тоже мы все вместе). А если мои родители хотят видеть внука, то пусть приезжают тогда, когда он на работе.
На мой взгляд это чистой воды эгоизм. Я не могу понять как может в этой ситуации не хватать общения с сыном. Я не могу представить что кто-то может считать такое отношение к родителям своей жены номальным. Просто устала от нервотрепки каждый раз, когда хочется погостить у них мне или сыну. Скажите что-нибудь