rozbiórka swojej części stodoły - forum prawne

Witam. MAmy z sąsiadem wspólne podwórko i wspólna stodołe. Dostałam w starostwie zezwolenie na rozbiórkę swojej części stodoły. Rozbiórka we własnym zakresie. Podpisałam dodatkowy dokument, że zbuduje sąsiadowi jego część, aby zabezpieczyć przed deszczem i rozpadem. 
Tak też zrobiliśmy, zbudowaliśmy całą ścianę sąsiadowi, przybilismy kilka dodatkowych bali dla podtrzymania. Rozcielismy dach i zburzylismy nasza część. Niczego nie uszkodziła. Teraz sąsiad robi problemy bo twierdzi że przed zabudowa jego części powinny być wylane fundamenty (nic takiego nie podpisywałam) i że wszystkie belki powinny być nowe a nie tylko część.
Chce nas zgłosić do Inspekcji Nadzoru Budowlanego. I pytanie, czy zrobiliśmy coś niezgodnie z prawem i czy możemy mieć jakieś problemy? Proszę o pomoc