Я замужем, он женат, в семьях относительно благополучно.

Никак не быть, как будет так будет, не нужно рассчитывать на пощаду, потому что вы нарушили самое важное для вас. Брак должен быть важным для обоих супругов, а не только для одного, поэтому цените его и не делайте таких глупых поступков.