契約の際、ペット飼育禁止マンションと聞かされていたのですが・・。 -賃貸 博士-

分譲賃貸マンションの契約解除について。
仲介業者から契約の際、「このマンションではペット飼育禁止です。」と説明を受けましたが、実際は「飼育は許可制」とマンション規約にあります。

先日犬の吠える声がうるさく睡眠を妨げられるので、管理会社に苦情を数回いいました。管理会社も「このマンションはペット禁止」と言われました。
ですが、マンション内には飼育許可の張り紙がしてあることを指摘しても飼育禁止をいい、直接管理している管理会社にも禁止を確認したと言われました。
私はペット禁止でないのであれば契約しなかった旨伝えました。（動物アレルギーがある）管理会社は再度実際の管理をしている会社に確認し、折り返し連絡すると言いましたがいまだに連絡はきません。
仲介業者にも連絡しましたが、分譲賃貸はこちらでは打つ手がないと言われました。

現状で思うことは仲介業者から契約したのに何の対応もしないのに怒りを感じています。

今後の対応として、解除をし損害（初期費用や引越し代）を賠償してほしいと思っています。ですが、仲介業者や管理会社の対応の悪さを思うと、このまま諦めて通常の退去をすればよいのでしょうか？　数日悩んでいます。
初期費用２０万円ほどなので裁判を起こすかも悩んでいます。
弁護士に相談したところまずは契約をした仲介業者に連絡して事情を話してみてはどうかと言われました。ですが上記のような対応をされました。

よろしくお願いします。