隣人との騒音問題、引越し違約金を支払うのに納得がいきません。 -賃貸 博士-

通院の為に安い部屋を借りました。
そこは鉄骨マンションでしたがとんでもなく防音性が低く、上階の足音、下のTV音、一番酷いのは隣の生活音が筒抜けで咳や水音以上に足音が非常に響き、部屋滞在中は安眠が出来ません。
しかも刺青の初老の男で一日部屋におり酒を飲んでます。
とても生活出来ないというと部屋を変わるかと管理会社に言われたのでそうしたいと言うと、再審査なので審査超料、清掃料等4万余かかると言われ、仕方なく了承しましたが保証人がサインをしてくれなかったので移動は出来なくなり、退去する事にしました。

一月以上出張で部屋を使いませんでしたが、昨夜通院の為に（退去日まで2週あり勿体ないので）一泊しましたが、深夜2時頃隣がガタガタ活動始め、足音がうるさく眠れず、うとうとすると何か物を落としてその度に起こされ、一時間程して静かになりましたがずっと眠れず、朝早いから泊まったのに寝不足にさせられました。
一年未満の退去は家賃二ヶ月違約金という特約がありますが、好きで出ていくのでもないのにこんな状況で支払うのは納得行きません！不払いか減額かを合法的に出来ないでしょうか？

契約して3ヵ月半での退去はですが入居月は10日、良く月は5日程度、その翌月は1日しか使ってません。敷金は入れてません。
清掃料は契約時に払い済みです。
隣のドスン！という衝撃で夜中に起こされた事が何度かあり、管理会社に相談しましたが、夜中に起きることもあるだろうと注意はしてくれませんでした。
でも構造的に日常生活音すら防げない程防音が最悪なのだからそれに合わせて指導すべき思うのですが。
とにかく違約金を払わないといけないのでしょうか？

契約時に保証人と保証会社と両方立てさせられたので、貸し主も話が通じない気がします。