賃貸マンションでのクレームと退去時費用に関して -賃貸 博士-

賃貸マンションに一年間半前に、2年契約で引越ししてきました。

昨年、いつからか、壁を殴る音が数回あり、11月末にいきなり、
隣人が騒音がうるさいと怒鳴り込んで来ました。
何が、気になるのかと尋ねると、ドアの開け閉め、窓の開け閉め、
網戸の開け閉め。深夜遅くのハイヒールの音でした。

早朝の通学、深夜のバイトからの帰宅など、うちにも非があると思い、
以後気をつけますが、生活音なのである程度は、了承をお願いしますといいました。すぐ、管理会社に電話で報告しました。

数日後子供が1人で、帰宅仮眠していたら、隣人がまだどなってきたらしく
その時は、ヒールとドア開閉音といいましたが、子供は自分1人しかおらず、
よその騒音では？といったら、勘違いだったかなと、帰ったそうです。

その後、壁を殴る音が数回あり、年末の日曜日で家族でテレビ見てるだけだったのに、また、壁を殴る音。
（テレビの音は、隣には聞こえないと前回確認してます）
その日の夕方、うるさいと怒鳴り込んで来ました。
その際にも、うちではなく、よその騒音ではといいました。
うちは、ドアの開け閉めかなり気をつけてますよと…
窓の開け閉め、網戸は使用しませんといいました。なんとか、
自分の誤解かもと言われ、壁を殴るのはやめると言ってくれたのですが、

実は、以前にもトラブルで、警察に捕まった事があり、
そういうことに自分も2度なりたくないので、自分がドアを叩いて
怒鳴り込んで来ても、ドアを開けずにいてくれと言われました。
警察に？と、聞いて不安になり管理会社に電話しましたが、年末で警備会社の方に話し管理会社に報告すると言われてました。

年明けても、覚えのない他の住人の生活音で、相変わらず壁を殴る音がします。
ついに、私も我慢の限界で、管理会社に退去も考えているけど返金などは、一切ないし、逆に契約より半年の退去なので、一ヶ月の家賃を払えと言われました。
転居にも、お金はかかるしこのまま、泣き寝入りするしかないのでしょうか？
アドバイスいただけると大変有難いです。よろしくお願いします。