Согласно ч. 4 ст. 61 Трудового кодекса РФ,
Если работник не приступил к работе в день начала работы, установленный в соответствии с частью второй или третьей настоящей статьи, то работодатель имеет право аннулировать трудовой договор. Аннулированный трудовой договор считается незаключенным. Аннулирование трудового договора не лишает работника права на получение обеспечения по обязательному социальному страхованию при наступлении страхового случая в период со дня заключения трудового договора до дня его аннулирования.
В Вашем случае работодатель намерен применить норму об аннулировании трудового договора, при которой действительно не обязан производить окончательный расчет. Но, поскольку Вы своевременно вышли на работы, Ваш трудовой договор вступил в силу, и должен быть только расторгнут.
Трудовой кодекс РФ условия, обязующих работника для получения окончательного расчета отработать определенное количество рабочего времени, не содержит.