Brak odległości od granicy a zgoda poprzedniego właściciela nieruchomości

Witam,
jakiś czas temu zacząłem budowę domu w odległości od granicy sąsiada 3 m. Sąsiad napisał mi oświadczenie, że wyraża zgodę na wybudowanie budynku w odległości 2 metrów. Sąsiad sprzedał swoja nieruchomość i nowy właściciel skarży mnie o brak odległości 4 m, tak, że nie mogę odebrać budynku. Proszę o poradę czy ma do tego prawo, skoro poprzedni zgodził się na 2 metry.