Что делать, если заказчик требует вернуть деньги за работы без подписанного договора?

Следовательно, дальнейшие Ваши действия могут быть осуществлены исходя из факта заключения договора.

Все обсудили, договорились и моментом отправили оплату без подписания договора. Хотя договор был составлен и отправлен через мессенджер Ватсап.

 Договор у Вас полагается заключенным исходя из требований ст. 434 и ст. 438 ГК РФ.

В частности, в ст. 434 ГК РФ допустимо его заключение посредством обмена электронными письмами.

2. Договор в письменной форме может быть заключен путем составления одного документа (в том числе электронного), подписанного сторонами, или обмена письмами, телеграммами, электронными документами либо иными данными в соответствии с правилами абзаца второго пункта 1 статьи 160 настоящего Кодекса.
3. Письменная форма договора считается соблюденной, если письменное предложение заключить договор принято в порядке, предусмотренном пунктом 3 статьи 438 настоящего Кодекса.

При достижении соглашения по существенным условиям договора и его частичном исполнении (ст. 438 ГК РФ) следует, что он был заключен в письменной форме.

Поэтому в части его исполнения Вы можете ссылаться на его заключения.

Основной момент же заключается в том, чем заказчик мотивирует свой отказ.

У Вас как следует из представленной Вами информации, заключен договор подряда.

Отказ по нему допустим, например, в силу ст. 717 ГК РФ 

Если иное не предусмотрено договором подряда, заказчик может в любое время до сдачи ему результата работы отказаться от исполнения договора, уплатив подрядчику часть установленной цены пропорционально части работы, выполненной до получения извещения об отказе заказчика от исполнения договора. Заказчик также обязан возместить подрядчику убытки, причиненные прекращением договора подряда, в пределах разницы между ценой, определенной за всю работу, и частью цены, выплаченной за выполненную работу.

Таким образом, если Вами работы не выполнены и объект не сдан, Вы вправе при отказе заказчика от договора произвести ему возврат только части суммы.

У Вас есть право на удержание стоимости уже выполненных работ и Ваших затрат, которые Вы понесли в связи с исполнением договора.