Напишу несколько мыслей, которые, возможно, покажутся Вам обидными. Но прошу Вас не обижаться, а принять это как информацию к размышлению - именно Ваши выводы могут переосмыслить отношение к ситуации.
1. Муж ушёл "налево". Но ведь и Вы "увели" его когда-то. Речь не о Вас и чьей-то вине - дело в Нём. Он уже тогда был способен "загулять", бросить семью и т.д. Если это уже было в жизни раз, то ничего сверхъестественного нет в том, что такое повторится. И возможно, повторится не раз - такова натура этого конкретного человека. Примите это как должное.
2. То что соперница младше Вас на 2 года - ерунда. Не вдаваясь в подробности, могу предположить, что он действительно к Вам вернётся. Опять же, такова его натура.
3. "...что безумно его люблю сказать не могу, ну да есть привязанность и тем более дочь" Отчего же? Можно сказать достаточно точно: Вы его любите, не безумно, но любите. А вот наличие дочери в данном аспекте - не проявление любви, а попытка оправдать своё (Ваше) состояние и перспективы сохранить семью.
Давайте абстрагируемся от данной истории и посмотрим на ситуацию со стороны. Что такое любовь? Это отражение особой значимости человека для Вас. Значимость может изменяться, появляться или совсем навсегда исчезать. Любовь не вечна, как любое чувство. Это нормально.
А что такое семья? Это тесный круг родных (или ставших родными) людей. Чувство родства почти тоже самое, что и ценность одного человека для другого. Просто ценность определяется естественным критерием "Моё". То есть, семья не может существовать без любви. Если значимость не взаимная, то человек уходит, выпадает из "ячейки общества".
К чему это я? На самом деле у Вас сейчас есть семья. Из четырёх человек! Вы, муж и двое детей. И если кто-то из четверых не будет принят каждым как "Моё", то распадётся вся семья. Будет четыре (!) одиночества. Это факт, это уже подтверждалось тысячи раз.
Вот к чему это, собственно, я написал. Упоминая про "бывшую", Вы упоминаете про её сына, тем самым выбирая себе роль "бесплатной няни". Но такой рои в семье нет. Таким нехитрым образом, противопоставляя себя и ребёнка, вы собственноручно разрушаете всю семью. Почему? Потому что семья - это взаимоценностные связи между людьми. Если Вы забудете роль "няни", а будете жить в семье с двумя вашими детьми - интереснейшими на свете существами - это не останется незамеченным. И мужу вдруг станет ценнее и интереснее (!) вернуться в такой дом - там всегда лучше. (кстати, Вы не указали его возраст).