Мы - любовники. Как быть?

Привет всем. Может это и банальная ситуация с любовными отношениями. Но очень тяжело на сердце, просьба подсказать так сказать со стороны ведь виднее, объективнее. Может у кого были ситуации с любовниками, кто и как выходил из этого? Чем дела заканчиваются? На чем сердца успокаиваются?
Мне 27, мужу 30, сыну 6 лет, доченьке 1 год. У меня любовные отношения с мужчиной (на 20 лет меня старше). Мне с ним очень легко, спокойно, весело (он с чувством юмора, в отличие от мужа - у него это чувство напроч отсутствует), за ним я как за каменной стеной, чувствую к нему безумную страсть и надежность. В юности он любил погулять, сейчас у него ко мне поздняя любовь. Он относится к категории руководителей, обеспечен (на сегодняшний день, ведь никто не знает, что будет завтра),очень любит меня. Он женат (ей 45 лет), есть дочь 18 лет. Как говорит, с женой у него секса нет давно, а если и есть, то так абы как. Ей не надо, а ему тем более от нее не надо. Она из разряда домашних клуш, у которых на уме только еда, да как мужа накормить.Он ушел бы из семьи, если бы была квартира. Говорит, что копит на другую, не хочет делить совместную с женой. Муж зарабатывает мало, в основном зависим от свекрови. А дети растут,хочется, чтобы они гордились отцом. Сейчас дети ведь все сравнивают, у кого что есть, где родители работают. Я постоянно развиваюсь, к чему-то стремлюсь, я оптимист, муж - полная противоположность, несколько лет ищет работу поденежнее, но не получается. Но ведь если захотеть, то все можно сделать для семьи, а его устраивает. Говорит, ен нравится, собирай монатки и уходи (а квартира куплена его родителями, хотя мы были уже в браке). На самом деле он меня не отпустит. Как говорится сам не ам, и другим не дам. Что делать, как быть? Подскажите, дайте совет.