Вправьте мозг, плз

Я замужем 9 лет (женились по залету), двое детей, живем в квартире со свекровью, она очень помогает с детьми (5 и 8), но психологически с ней очень тяжело. Она пессимист, все время давит на мозг, что все плохо, будет еще хуже, нет смысла дергаться и т.п. Самое плохое, что детей так же настраивает. В результате старшая уже не видит смысла переделывать, если не получилось ("все равно опять не получится"). Муж к 30 годам нормальной работы не имеет, т.е. работа есть, но з.п. маленькая, практически все уходит на выплату кредита за его машину. Два раза ловила его на измене, 1 когда была беременна, второй, когда два года назад. Он хотел уходить, но остался из-за детей думаю. Живем ровно, скучно, мало что можем себе позволить. Я работаю, специфика профессии такая, что должна сидеть в офисе с 9 до 18, т.е. домой приезжаю поздно, детей вижу мало. З/п позволит с детьми прожить, но не снимать квартиру.
Полтора года назад в моей жизни появился человек, (пусть "Ь") , познакомились в компании и искра проскочила... Но виду никто не подал. Он женат, детей нет, но очень хочет, что-то у них с женой не заладилось. Мы изредка встречались в компании, созванивались, к этому лету встречи участились, в общем месяца полтора назад мы объяснились и поняли, что очень хотим быть вместе. Секса не было еще, но очень хочется. Он очень ладит с моими детьми.
Что делать теперь совершенно непонятно. Встречаться раз в неделю где-то и возвращаться в семью я не могу, "Ь" тоже. Он вроде готов уйти от жены, а я не знаю. Во-первых очень переживаю как дети воспримут развод, переезд на другое место жительства. Во-вторых, боюсь обидеть мужа и свекровь, понимаете, мне их жалко, от свекровки муж ушел, она вся во внуках, муж последнее время очень хорошо стал ко мне относиться, как почувствовал, все время про любовь говорит (где он с этим был несколько лет назад?). В-третьих, куча бытовых проблем, где жить (максимум что он сможет сделать - однушка), надо решать вопрос с садиком и школой, кто будет их оттуда забирать (продленка до 18), но в принципе, все вопросы решаемы со временем, толкьо вот времени нет, события развиваются очень быстро, свекровь и муж наезжают, я слишком много с ним общаюсь (муж работал, а мы с детьми взяли на каток "Ь"). Т.е. получается, что надо решать, мы не можем не встречаться, нас тянет. Дни когда не получается пересечься - ад для меня, я и так неспокойный человек, а тут совсем крышу рвет, срываюсь на всех, ору, на работе косячу. Либо рвать по живому вот прям сейчас раз и навсегда, либо ставить в известность окружающих, и затевать проблемы.
Он Овен, очень уверен в себе, говорит, что все решит, что все будет хорошо. А я боюсь... боюсь, что не получится создать новую семью, когда разрушу старую, боюсь, что детям будет плохо, боюсь, что он уйдет от меня так же не оглядываясь, если через несколько лет кого-то встретит ("Ь" утверждает, что не надо проецировать его нынешнюю семью на нашу будущую, я другая совсем, но червячок гложет...). Боюсь дурного глаза свекрови (женщина, с которой мне муж изменял, умерла в 30 лет), она очень глазливая.
Но еще я очень боюсь, что это тот самый ШАНС изменить мою жизнь, о котором я мечтала, а я его не использую (
Я не прошу решить за меня, просто может вы увидите и покажете мне какие-то аспекты, которые я упускаю? спасибо