wystawienie faktury vVAT przez osobę nie będącą płatnikiem VAT

Witam!! Mam pewien problem. Od sierpnia 2011 r. prowadzę działalność gospodarczą. Do końca 2011 r. rozliczałem się z urzędem skarbowym na podstawie ryczałtu. Od stycznia 2012 r. przeszedłem na zasady ogólne, z tym że nie złożyłem deklaracji VAT-R. Z powodu nie wiedzy wystawiłem w styczniu kilka faktur VAT, opłaciłem podatek, po czym się dowiedziałem, że nie jestem płatnikiem VAT i nie mogę wystawiać faktur i odliczać podatku VAT. Pani w urzędzie skarbowym mi powiedziała, że muszę zwróci różnicę z odliczonych faktur, a kontrachenci którym wystawiłem faktury nie mogą również odliczyć z nich VATu. Podsumowując, nie będąc płatnikiem Vat nie mogę tego podatku odliczyć oraz muszę go zwrócić firmom, którym wystawiłem faktury. Czyli muszę ten podatek zapłacić dwa razy. Wg mnie nie mam to logicznego sensu, co mogę z tym zrobić. Proszę o pomoc. Pozdrawiam