Ко мне ходит мужчина....

Попала в дурацкую ситуацию. Есть любимый муж, ребенок, крепкая семья. А на работе стал ко мне захаживать "на кофе" коллега. Причем, совершенно безобидно, действительно, просто кофе пьем, работу обсуждаем, я ему фотки с семейного отпуска показывала, могла посоветоваться, какой мужу подарок к празднику купить, куда пойти с мужем отдыхать. Он про свою семью рассказывал. На вечерах вместе отдыхали (с мужем-женой)Короче, совершенно безобидные приятельские отношения. Никаких там взглядов, намеков, двусмысленных тем. И вдруг, от людей, знающих его семью, я узнаю, что у него проблемы в семье, и эти проблемы из-за меня. Т.е. жена ревнует, а он не отрицает, что неравнодушен ко мне, как к женщине. Да и сам он как-то обмолвился что дома "не очень" (подробности мы никогда не обсуждали) Короче, как только я узнала это, попыталась свести общение к минимуму. Он "что случилось?". "Ничего. просто, времени нет!". Бегала от него неделю. Потом он сказал "ты меня не прогоняй, ты мой самый близкий друг" Что дальше делать-то? Прямо сказать "тебе не светит"?. Так он же ничего и не просит. Да и не хочу выставлять себя дурой, которая что-то там себе нафантазировала. А оставить как есть не могу. Он хороший человек, не хочу создавать ему проблем. Т.е. я понимаю, что наверняка дело не во мне. И "не очень" в его семье может быть совершенно по другой причине. Но и играть какую-то роль в его семейных конфликтах я не хочу.