カレの前だけ態度が豹変してしまう…

二年ほど前にお付き合いしていた男性に、「別れる」というたびに「死ぬ」と言われたり、無理矢理家に連れ込まれたり（無理矢理というか、強い口調で言われて怖くなってしまい、家にいってしまいました）、激しく罵倒されたり、たまに暴力などを受けていました。ストーカー行為もされていました。とにかくやっていることが異常でした。
最終的に警察に行って別れることができ、今は違う男性とお付き合いをして一年の月日が経っています。
しかし、私は今のカレの前では普段と態度が豹変してしまうのです。
普段は平和主義なので自分は悪くないと思っていても、謝って解決をしたりすることができます。しかしカレとのケンカ中や、カレにとって気に食わない行動や言動をしてカレが私に注意するとき、わざとカレを怒らせるようなことを言ってしまいます。
ほぼ毎回と言ってもいいぐらいです。カレが怒っていることを素直に受け止めることができません。
自分が悪いとわかっていても、カレにだけには素直に謝ることができません。
彼に怒られると、何とも言えない腹立ちとイラだちが起き、素直に謝ることができず、カレを罵倒したり、モノにあたってしまったり、電話の途中でも切ってしまったり、「別れる」という言葉を何度も使ってしまいます。
そのたびに自己嫌悪に陥り、自分は最低な人間だと思います。
しかし素直になることができません。
最近はカレと口論している途中、また私が最低なことを言ってしまってカレが私に軽くですが手を出してきました。
最初はそんなに痛くなかったので口で反論していましたが、次に腕をぎゅっとつかまれた時、とても痛くて叫び、泣きわめきました。
そして前の彼氏のことを思い出し、過呼吸になりかけたり、いやな思いでが頭の中によぎり、震えがとまりませんでした。
ちなみにこのようなことは今までに２，３度起きています。
その後仲直りをしましたが、またカレと口論になり、私がカレを怒らすような最低なことをまた言ってしまい、腕を掴まれベッドに放り投げられました。その時もフラッシュバックのようなものがおきてしまい、彼が近寄り触れられると「助けて」と叫んだり、カレが私に近づくと体が拒否反応を起こしていました。
私は自分では、何か精神的な病を患っているのではないのかな、と思っています。
しかしカレは「お前はそう思って逃げているだけだ」と言います。
「お前に病気だって思いこんでほしくない、お前は思い込みが激しいから」と言い、カレが私に接する態度はかわりません。
「俺からしたら、お前が怒らせるようなことをせんかったらお前に強い口調でいうこともない、手を出すこともない。フラッシュバックだって俺には関係ない。俺は前の彼氏じゃない」と言います。
カレの言っていることは正しいとおもいます。普段はとても優しく、絶対に強い口調でしゃべったり、手をあげたりなんてしないと思います。
いつもそうさせてしまうのは私のほうなんです。
なんとかして私自身が変わりたいのですが、どうすればよいでしょうか？
まずはカウンセリングを受けることから始めようかとおもうのですが、カレは嫌がっています。
どなたかアドバイスお願いします。