Pomocy! - forum prawne

Pomocy!
Witam na wstępie pisze ze jestem tu nowy i jeśli źle trafiłem z postem to proszę mi powiedzieć.
Mam ogromny problem z postawienie budynku gospodarczego. Sprawa wygląda tak: mam ziemię 0.88 ha na 0.35 znajduje się zabudowa zagrodowa (działka siedliskowa) na której stoi dom i budynek gospodarczy. Pozostała część ziemi to grunty rolne. Chcę postawić budynek gospodarczy(garaż blaszak 6x5) ale na tych gruntach rolnych i panie w inspektoracie nadzoru budownictwa twierdza że muszę wyłączyć grunt spod tego garażu inaczej zgłoszenie będzie kwestionowane. Moje pytanie brzmi czy muszę wogole zgłaszać chęć postawienia czy jest to porostu rozbudowa istniejącej zabudowy zagrodowej oraz czy muszę wyłączać te grunty? Wiem że wiąże się to z innym naliczanie podatku. Proszę o pomoc!