Jak reagować?

Witam. Rok temu rozstałam się z narzeczonym. Moje życie pędziło w zły kierunek. I stało się miesiąc później poznałam mężczyznę. Ma 30 lat on również był w stałym związku. Ma 6-letnią córeczkę. Razem z małą bardzo się polubiłyśmy. Nie wtrącam się w wychowanie dziecka (choć ma wiele do życzenia)nie mówię złego słowa na temat jej mamy i babci z którymi aktualnie mała mieszka. Jest tylko problem któraś z kobiet przedstawia mnie w złym swietle dziecku. Ani była partnerka ani babcia mnie nie znają. Dziecko bardzo dobrze czuje się w moim towarzystwie i cały czas o mnie pyta. Zabieramy zazwyczaj małą na całe weekendy (piątek sobota niedziela) bawimy się z nią razem, jeździmy na basen, chodzimy na spacery itp. Całe dnie spędzamy razem. Nie mieszkam razem z partnerem. On nie mieszka z córką. Boje się że pewnego dnia tak dziecko zbuntują przeciw ojcu że będę tą złą i dopadną mnie wyrzuty sumienia. Co robić w takiej sytuacji?