「お誘いありがとうございます。気持ちはとても嬉しいのですが、一秒でも多く祖母のもとにいたいので」
「私、おばあちゃんっ子なんですよ～」
と言って断るのはどうですかね。
とか言いながら、迷案かも。
良い方法が見つかって、すっぱりとやめられますように！

有難うございます(´▽｀*)
事後報告になっちゃいましたが、仲良くして下さってた方(幹事役)に辞めたし行きにくいって相談したら｢社長達には上手く言っておくから無理に来なくて大丈夫だよ！｣って言ってくださったので行かなくても良さそうです\(*`∀´*)/ﾊﾞﾝｻﾞｰｲ