Odmowa delegacji

Czy mogę skorzystać z odmowy delegacji, jeśli w umowie mam napisane, że mogę być oddelegowany? A posiadam 6 miesięczne dziecko, żona nie pracuje? mam umowę o pracę. Słyszałem, że mogę odmówić według Kodeksu Pracy, ale nie wiem czy to się tyczy mojej sytuacji, skoro mam taki zapis w umowie. jeśli mogę to z jakim uprzedzeniem odmawiać wówczas pracodawcy?