最近、急に涙が出てくる

子供も成人し、４年前に父が他界し、昨年母が他界しました。
妻と二人の生活です、妻も３年前に癌になってから夜の生活がなくなり、ついつい出会い系で知り合った女性と関係を持ってそのった事が妻や子供（娘）にばれてしまい、かやの外状態です。自分のせいだと解っているのですが、何かにつけ、その話に結び付けられ自分の立場が無くなってしまいに、妻が前よりきつくなってしまいました。
自分が悪いとは解っていても、もう少し優しくしてくれてもいいのではないかと、逆切れしてしまう事も度々。そこでまた、溝が出来てしまっています。今は、孫が可愛くて仕方がないのですが、自分の不始末のせいで思いっきり、可愛がってやれない状況です。
最近、妻の言葉で、悲しくなり涙がでてしまう自分がいます。どうすればよいのでしょうか？一生懸命仕事はしてるのですが、まだ疑われています。