Czy będę zmuszony do rozbiórki garażu?

Czy będę zmuszony do rozbiórki garażu? Sprawa dotyczy garażu, który stoi w granicy działki z sąsiadem. Niedawno zakupiłem wolnostojący dom jednorodzinny z owym garażem. W dokumntach nie znajduję zgody sąsiada na takie usytuowanie budynku. Czy w razie kontroli z inspektoratu nadzoru budowlanego (bo niestety tego się obawiam) będę musiał rozebrać garaż? Dodam, że został on pobudowany ponad 10 lat temu i do tej pory nikomu nie przeszkadzał....