"Я плохой"..

Всем добрый день! Спасибо всем за советы по предыдущей моей теме, кто помнит. Пока пришли к решению вопрос о втором ребёнке отложить на несколько лет. И в связи с тем, что тут мне писали и в связи с тем, что муж всё-таки до конца не готов принять это решение, а давить я не хочу.
Сейчас хочу спросить совета о сыне - ему 3,3, брали в 4 мес. Адаптация у меня была сильная, наверное не додала ему теплоты в первые полгода. Он сам изначально не тактильный ребёнок, обниматься даёт только под настроение. В большинстве случаев - просто отталкивает. Хотя количество тактильных игр у нас большое. Хочу понять - это нормально, что ребёнок маленький такой не тактильный? У кого-то так было? Или это последствия того, что его оставили сразу, и надо как-то это преодолевать?
И самый больной мой вопрос - на любое возмущение с нашей стороны его поведением - сразу реакция "я плохой". Прямо так и проговаривает. Хотя дома 100% такого ни разу не было сказано в его сторону, ни одним из членов семьи. Наоборот я всегда ему поговариваю, что он самый хороший и лучший мамин мальчик. Но как-то это не помогает. Ситуация несколько обострилась, когда пошёл в сад. Раньше тоже так говорил, но с началом сада - такого стало больше. Как правильно реагировать? И вообще, как донести сыну, что мы его любим, несмотря на то, что и ругаем, конечно, иногда. Оговорюсь, что обычно ругаю за поступки, которые опасны (прыгать с табуретки, например, ну или лезть в розетку), т.е. нет у нас постоянных выяснений отношений по мелким поводам.
Не могу себе уяснить в голове - что не правильно делаю, если у сына такая реакция? Может посоветуете, что-то почитать по теме.