Правомерно ли требование возврата аванса, если проведение работ не было задокументировано?

Здравствуйте!Я и два моих напарника поехали работать,переделать крышу подъезда и нам в качестве аванса дали 5000 тысяч рублей.Работу выполнили частично,только демонтаж старой кровли и в связи с возникшими личными проблемами после демонтажа не работали,но один из нас еще выполнил монтаж гидробарера когда пошли дожди.В следствии осадков пострадал подъезд здания,внутренняя отделка.Теперь работодатель требует с меня этот аванс в размере 5000т.р. или он напишет заявление в полицию о краже денег и выставит счет ущерба зданию.Мы работали не официально и без письменных договоров.При передаче мне 5000 т.р. ни расписок ни договоров тоже не было.Как расцениваются его действия?Его требования и угрозы законны?Заранее спасибо!