почему в слове изморозь пишутся разные окончания, такие как изморось и изморозь, и на каком правиле основано написание

Все очень просто! Написание данных абсолютно разных слов, являющихся омонимами можно определить

ИзмороСь-это относится к дождю, когда тот мороСит

ИзмороЗь-это холод, когда немножко веет холодом, мороЗит

Необходимо просто понять, в каком контексте употребляется это слово