Prawo do niedopuszczenia męża do mieszkania po rozstaniu - forum prawne

witam
Mam 1.5 roczne dziecko, niedawno rozstałam się z mężem. On się wyprowadził, ale dziecko zostało przy mnie. Ustaliliśmy sposób widywania się męża z dzieckiem, ale on go nie przestrzega. Wpada do domu kiedy chce, a potem nie ma zamiaru wyjść zanim on nie zdecyduje że już czas. Czy mam w takiej sytuacji prawo nie wpuścić go do mieszkania? Bardzo proszę o pomoc
(dodam że jeszcze formalnie nie jesteśmy po rozwodzie)