Устный договор

Я, как работодатель(частное лицо) заключил устный договор с работником строительство дома до определенного уровня,за определенную сумму денег, в 2010 г.Сумму определенную договором, я ему выплатил авансами согласно договоренности.Через три года он мне предъявляет притензию,что я ему не доплатил определенную сумму,угрожая мне определенными действиями,вплоть до физ. расправы.Что делать?