Stare ogrodzenie, a sąsiad. - forum prawne

Witam.
Mam pytanie związane z roszczeniem w sprawie ogrodzenia, ściślej rzecz ujmując muru wzdłuż posesji mojej i sąsiada. Mur wybudowałem około 20 lat temu sam, na własny koszt, dogadując się z teściem sąsiada (który już nie żyje, a wtedy był właścicielem działki), że mur będzie dociągnięty do jego szopy, stojącej pół metra od granicy naszych posesji. Po 20 latach sąsiad domaga się bym rozebrał mur i wybudował nowe ogrodzenie, bo to które jest wchodzi na jego teren (może około metra). Co chwilę jestem straszony kontrolami, nadzorem budowlanym itp.
Czy mogę coś w tej sprawie zrobić? Jak wspomniałem mur wybudowałem sam, mam fotografie potwierdzające, że ogrodzenie stoi tam już 20 lat, że jest dociągnięte do szopy. Ew. jak taki spór rozstrzygnąć? Jak z kosztami wyburzenia/zbudowania nowego muru?

Dziękuję za odpowiedź.