Czy ojciec ma prawo przychodzić do dziecka kiedy tylko ma na to ochotę, bez mojej zgody

witam
Mam 1.5 roczne dziecko, niedawno rozstałam się z mężem. On się wyprowadził, ale dziecko zostało przy mnie. Ustaliliśmy sposób widywania się męża z dzieckiem, ale on go nie przestrzega. Wpada do domu kiedy chce, a potem nie ma zamiaru wyjść zanim on nie zdecyduje że już czas. Czy mam w takiej sytuacji prawo nie wpuścić go do mieszkania? Bardzo proszę o pomoc
(dodam że jeszcze formalnie nie jesteśmy po rozwodzie)