Ekwiwalent za urlop

Witam moja sytuacja jest dosyć złożona. Mam umowę na czas nieokreślony, zaszłam w pierwszą ciążę, byłam na chorobowym , potem na płatnym macierzyńskim, potem rok na bezpłatnym wychowawczym , potem zaszłam w drugą ciążę i w porozumieniu z pracodawcą wróciłam na 2 dni do pracy, po czym poszłam na chorobowe a następnie macierzyńskie. Z tym że szef zgodził się na taki układ pod warunkiem że nie będzie ponosił przez to żadnych kosztów tak więc za pierwsze 30dni chorobowego mi nie wypłacił pieniędzy , dodatkowo z wypłaconego wynagrodzenia za urlop który mi się należał po pierwszym chorobowym i macierzyńskim oddałam szefowi za koszty z tytułu zusu itp które za mnie zapłacił. Teraz chcę zakończyć umowę ale szef mówi że mam 56 dni urlopu za które należy mi się ponad 5000zl ale za które mi nie zapłaci, jednak w dokumentach musi wpisać że kwota ta zostala wypłacona więc będzie miał do zapłaty jeszcze podatek za mnie i inne koszty w wysokości ok 4000zl i ja mam mu te pieniądze uregulować. Co mam zrobić w tej sytuacji? Czy mogę się zrzec ekwiwalentu za urlop aly nie płacić tych kosztów na ZUS?