法は必要以上に家庭に立ち入ることをしません。性的関係を持てと書いていなくても、結婚して夫婦になり、子を生して形成する夫婦と子供の家庭こそが、民法の家族の基本単位ですから、性的関係を持つことを前提としています。
夫の異常な性行動の故に悩んだ妻の離婚請求を認めた最高裁も「夫婦の性生活が婚姻の基本となるべき重要事項である点」と説示しています。そこで性的不能者が、そのことを隠して結婚した場合には、妻からの離婚を認めるだけでなく、不法行為になるとして慰謝料を命じる事例もあれば、逆に、潔癖症の妻が婚姻以来性交を拒否し続けた事件に、夫からの離婚と慰謝料請求を認めた裁判例もあります。
ですが、これらの事件はたいていが婚姻当初の出来事です。結婚後時期が経ってから性交渉がなくなったケースではありません。
なので、奥さんからの要求を拒否し続けたのでなければ、不法行為にならず、慰謝料請求を受ける心配はなく、奥さんの不貞行為が正当化されることはありません。