物件審査と契約のキャンセル料について -賃貸 博士-

先々月になりますが、賃貸アパートから、賃貸の一軒家にと物件探しをし、内覧を済ませた後、借りるつもりで審査申し込みや、契約書作成をお願いしました。
その後、偶々知り合いがその家のすぐ近くに住んで居て、近隣に難しい方が居られるし、今で言うゴミ屋敷もあると聞き、自分でもう一度確認に行った上で、不動産屋さんに、断りの連絡をしました。
まだ、契約書も見てないし、物件を見ただけですが、キャンセル料を請求されました。物件を現地で待ち合わせし見ただけで、不動産会社にも出向いてません。審査会社に審査依頼したし、契約書も作成し、大家さんの許可も取ったからとの事！こちらは、室内で犬を飼う為、不動産屋さん提示の家賃に上乗せで、大家さんにお願いして借りる様にはしてましたが、それでも、キャンセル料は払わないといけませんか？