По мотивам темы ниже

Навеяно темой "поссорились - сходил налево" и вопросом, стоит ли ворошить прошлое.
А у меня такая вот ситуация: были очень плохие отношения в семье, не суть важно уже почему. Ругались страшно, какое-то непонимание. В итоге один вид друг друга выводил из себя. Много раз пытались расстаться, в итоге после очередной ссоры я ушла, как тогда казалось - навсегда. Я была уверена, что семьи больше нет.
Через некоторое время завела роман.
Еще через некоторое время потихоньку начали общаться с мужем, сначала просто на тему ребенка - когда пообщаться, когда в гости привезти и т.п. Потихоньку начали помогать друг другу, заботиться друг о друге. Он мне, я ему. Отношения стали налаживаться и в итоге наладились, причем на каком-то совершенно ином уровне. Нет, это не новый всплеск страсти, это как раз забота друг о друге, желание не нервировать друг друга, общее дело. Оба видимо поняли свои ошибки и смогли разглядеть в другом новые, положительные черты.
Роман я потихоньку свела на нет. Остались друзьями.
Недавно разговаривали с мужем, выяснилось, что в то время как я считала себя свободной женщиной, он был уверен, что мы лишь временно отдыхаем друг от друга.
Ну и вот теперь вопрос - гложет меня тот роман. Вроде измена, а с другой стороны и нет. Я ж была свободной женщиной. Не знаю, знает ли муж, но он даже если знает, никогда не будет трясти "признавайся", ибо понимает, что ну признаюсь я - это дело прошлого, значит изменить ничего нельзя уже, и зачем тогда эти признания.
В тоже время он меня как-то спросил, не помню точно формулировку, но типа делала ли я что-то нечестное, я ответила нет - что в общем тоже верно. Т.к. считала себя свободной, а значит, имеющей право общаться и спать с тем, с кем хочу.
Такая вот ситуация.
Что хочу - чтобы стало легче на душе. Как-то для самой себя понять, что это было, разобраться и жить дальше с мужем. Говорить или нет? Если говорить, то как и с какой целью? Если молчать, то как успокоиться на ту тему? Если честно для самой себя ответить - изменой это не считаю, но почему же тогда гложет?