Buda drewniana po granicy

Moje pytanie dotyczy drewnianej budy sąsiada stojącej po granicy. Sąsiad to starszy człowiek, który mieszka tu już kilkadziesiąt lat. Owa buda - DREWNIANA - stoi pewnie też tyle lat, tylko my chcemy się ogrodzić w tym roku i nie możemy, bo się nie da. Kupując działkę w tym miejscu wiedzieliśmy, że ta buda tam stoi, ale jednocześnie byliśmy przekonani, że ona tam nie może stać. Próby rozmowy z sąsiadem na nic się zdały, więc złosiliśmy sprawę inspektorowi budowlanemu. Sąsiad w między czasie (ze względu na wiek) zamieszkał u swojej córki, która się nim opiekuje i przekazał jej upoważnienie dotyczące zarządzania posesją. Problem polega na tym, że córka mieszka daleko w innym województwie i nie stawia się na rozmowy i spotkania z inspektorem. Jak dalej załatwić tą sprawę? Czy konieczne jest wnoszenie sprawy do sądu?