不在時に大家さんに出入りして欲しくない…対処方法はありますか？

一般的に大家さんが合鍵を持っている事は珍しくありませんし、むしろ大家さんが合鍵を持っていないケースの方が稀でしょう。

問題はその合鍵の使い方にあります。

たとえ大家さんでも、貸している部屋へ無断で入った場合は不法侵入となり、立派な犯罪行為です。
もし仮に勝手に入られている痕跡が有るのなら、警察へ相談して大家さんへ注意をしてもらうのも一つの方法です。

大家さんの中には、合鍵で勝手に入る事に何ら抵抗を感じていらっしゃらない方が稀におられます。
どうしても改善されない場合は、転居した方が良い場合も有ります。

入居者不在になったあとも大家さんが部屋に居続けていますが、入居者の許可を得た上で入っているので、特に問題があるとはいえません。

大家さんはきっと良心から「あとは直してカギを閉めておく」といわれたのではないでしょうか。
ですのであまり過敏に心配されることはないのではないかと思います。

しかし、どうしても大家さんの侵入が心配というのなら最早自衛するしかありません。
例えば外出時に玄関ドアの隙間の見えにくい足元などに何かカードやマッチ棒のようなものを挟んでおき、帰宅時にそれが倒れていないか確認する、あるいは、毎日外出時に部屋の写真を撮って帰宅後に変化がないか見比べるなどでしょうか。

いずれにしても何らかの証拠、あるいは疑うだけの十分な根拠があればそれをもって大家さんに言うのがよいでしょう。
もし言いにくい場合は管理会社や不動産屋に間に入ってもらって言って貰うとよいでしょう。

大家さんといえども勝手に入室するのは犯罪行為なのです。（緊急時は除く）
とはいえ、今回についてはそれほど神経質になるほどでもないのではないかと思います。