Umowa użyczenia - moje prawa

Witam,
Mam pytanie odnośnie umowy użyczenia, którą zawarłam razem z pewną osobą. Było w niej jasno określone, że wprowadzam się do jej domu na czas nieokreślony i prowadzę swoje życie w nim. Osoba ta zameldowała mnie dodatkowo na czasowy okres 2 lat, sama mieszka w domu obok (na tej samej działce, jednak domy oddalone są od siebie o jakieś 40m). Dodam, że mam 30 lat, a więc jestem pełnoletnia.

Problem dotyczy moich gości - osoba ta wyznaczyła mi, że mogę zaprosić raz na bardzo długi czas kogoś w dzień na 2-3 godziny i to wszystko, a najlepiej by było, gdybym zrezygnowała z życia towarzyskiego w ogóle. Natomiast ja mam małe dziecko, nie mam możliwości wyjścia na żadne imprezy, do kina, czy gdziekolwiek lub też taka okazja zdarza się niezwykle rzadko, stąd raz na miesiąc-dwa chcę zapraszać moich znajomych (2 osoby) tutaj i chcę, by zostały na noc (są przyjezdne). Dodam, że nie zachowujemy się głośno, nie słuchamy głośno muzyki, w żaden sposób nie przeszkadzamy, nikt nie jest pijany i nie wszczyna awantur. Jest to normalne spotkanie, którego po prostu czasem potrzebuję, bo siedzę cały czas z dzieckiem, nigdzie nie wychodzę. Użyczający zagroził mi policją i wyrzuceniem moich gości. Moje pytanie brzmi, czy ma do tego prawo, skoro podpisał umowę i mnie zameldował z własnej woli?

Dodatkowo osoba ta uważa, że może do mnie przyjść o każdej porze dnia i nocy, a ja mam obowiązek ją wpuścić, bo to jej dom. Ja nie mam czasem na to ochoty, zwyczajnie mam bałagan i nie chcę nikogo wpuszczać. Czy mam prawo odmówić jej wejścia?

Rozumiem, że to jej dom, na to się godziłam, wprowadzając się tutaj za darmo i rozumiem, że każdy ma swoje przekonania, ale czy ma prawo tak bardzo ingerować w moją prywatność? Gdzie są granice? Ona przecież też nie była nieświadoma tego, że mam jakieś swoje życie, swoje potrzeby lub mogła zaznaczyć to przed spisaniem umowy, że jest zakaz przyjmowania kogokolwiek. Mogła się nie godzić przecież na moje wprowadzenie się tutaj.

Chciałam się dowiedzieć, jak wygląda sytuacja w świetle prawa.
Będę wdzięczna za odpowiedź.