電話の恐怖

今の仕事について一年半ほどになります。
業務上いやでも電話交換の仕事をしなくてはならないのですが未だに慣れません。

健康面で社会不安障害という精神疾患を抱えていますが、薬に頼らなくても問題ないという医師の診断から、もう数年ほど通院も薬物療法もしていません。
ただ、まったく不安や恐怖がなくなったわけではないので行動範囲を制限しての生活を送っています。

原因はそのせいだと分かりきっていますが、病気のせいにしてその仕事を断るわけにもいかないし、会社側に理由を伝えても納得してくれるとも思えませんので、しかたなしに毎日面識のない人間と話す恐怖と対峙しています。
ひどい時はパニックになり無言になってしまうほどです。

クレームでの暴言にも屈しない精神力と臨機応変に対応できる能力が欲しいとは言いません。
せめて、どもって言いたいことが言えなかったり、パニックになって内容を聞きとれなかったなんて事がないようになりたいのですが、これは改善できる見込みはありますか？
ない場合は今後どういった選択をするのが懸命ですか？