Виноваты оба. Как по мне, если решился на любовницу - лучше развестись.