Здравствуйте.
Целиком квартира сестре автоматически не перейдёт - доля дочери в порядке наследования делится между всеми наследниками первой очереди, а это не только мать (Ваша сестра), но и супруг умершей - ст. 1142 ГК РФ. Отец дочери (муж сестры) написал отказ - его часть теперь либо целиком уйдёт сестре (если отказ был оформлен именно в её пользу), либо будет поделена между оставшимися наследниками, включая зятя (если отказ безусловный, "просто отказ").
То, что зять "передумал подписывать отказ" - для него ничего не меняет: он и без отказа остаётся наследником первой очереди и получит свою долю по закону. А вот его страх "лишиться своей квартиры" - это заблуждение: отказ от наследства жены никак не связан с его личной собственностью (квартирой, машиной, гаражом), это разные имущественные массы, они друг с другом не пересекаются.
Есть важный нюанс, который тут в Вашу пользу: у сестры как у совладелицы квартиры (она уже была её сособственником вместе с дочерью до её смерти) есть приоритет перед зятем на получение всей квартиры в счёт своей наследственной доли, с выплатой зятю компенсации за его часть. Это отдельный механизм, который нужно правильно применить у нотариуса или через суд, если зять не согласится.