Как наказать и надо ли?

Есть ребенок, 6 лет. Со сложным характером, хочет постоянно командовать, когда ему было 3-4 года, я тут писала, мне дали кучу хороших советов которые работают.
Вчера произошла ситуация на которую я не пойму как реагировать.
Вечером (с7 до 9 вечера) гуляли на детской площадке возле дома. Площадка небольшая, вокруг неё куча интересных мест, ребёнку везде можно но он должен спросить "можно туда?" чтоб я знала где его, если что, искать. Я сама сижу на лавочке на детской площадке.
Весь вечер он спрашивал как положено. В последний раз спросил в 20-55, я сказала "нет, потому что через 5 мин мы идём домой".
После этого ребенок пропал. В 21-00 я начинаю его искать, не нахожу, в 21-05 решаю идти одна домой и его ждать дома а когда придёт устроить такую взбучку что мало не покажется. Да, раньше такого чтоб я одна ушла домой ни разу не было.
Иду в сторону дома и тут он выбегает из соседнего двора с видом "всё нормально, никто никакие правила не нарушил".
Я начинаю ему говорить что он нарушил, он косит под дурачка "ты сказала нет? А мне послышалось да, поэтому я туда пошёл ".
На самом деле он или ослушался с мыслями "сделаю по своему, ну, накажут потом, и фиг с ним, зато прям щас нагуляюсь", но через 10 мин бунта испугался и вернулся, то ли изначально подумал "пойду на 10 мин, это такая мелочь что мама не заметит и не накажет, а заметит, включу дурачка".
Вот сижу и ломаю голову, наказывать и как или нет потому что "всё хорошо закончилось".