Ольга, попробуйте принять как факт: Вы ни когда (да и ни кто другой) не сможете заставить себя или кого-то другого любить. Это невозможно. Бесполезно "попробовать полюбить". А раз так - просто отложите эту тему в сторону. Воспринимайте своего мужа таким, какой он есть - со всеми плюсами и минусами. Просто как обстоятельство. (может это звучит цинично, но как-то так)
Вы сами осознаете, что даже для видимости любви необходимо приложить титанические усилия. А ещё другие дела и заботы, ещё любовь к детям - настоящая любовь - ведь она тоже требует и времени и сил. Дак зачем тратить силы на бесполезные вещи? Посмотрите внимательно: ведь у Вашего мужа есть положительные черты. Живите с ними! Возможно, стоит переговорить с ним о Ваших чувствах к нему (вернее, о их отсутствии). Только не в коем случае не о любовнике - это убьет и вашу семью, и отца Ваших детей. Отец имеет право на любовь к детям и любовь детей. Не лишайте близких Вам людей этого права.
А "бросить своего любовника"... зачем БРОСАТЬ ? Зачем разговоры, сцены, пафос, скандалы и разорванные сердца ? Вы сами пишите, что беременная вряд ли станете ему интересны. Значит, со временем вопрос разрыва решится сам собой, без истерик и с минимумом слез. И без затрат сил. Тихо, спокойно, естественно.
И забудьте "мой мужчина" и "идеально подходит". Он не Ваш, хотя бы потому, что семейный и не хочет связывать с Вами свою жизнь. И не "идеально", так как НЕ подходит по целому ряду причин (Вы сами эти причины уже перечислили). Так что не придумывайте. Это человек, с которым Вам БЫЛО ХОРОШО. И всё. Что будет - это вопрос времени. Зачем забивать голову второстепенными вещами? Сосредоточьтесь на сегодняшнем дне.