Нужно ли возвращать доверителю деньги, снятые по доверенности?

Да, деньги нужно вернуть доверителю - обязанность передать всё полученное по доверенности "без промедления" прямо закреплена в ст. 974 ГК РФ. Доверенность сама по себе не даёт права оставлять снятые деньги себе - она только подтверждает полномочие совершить операцию (снять со счёта, получить выплату и т.п.) от имени и в интересах доверителя.

Тут важно понимать разницу: если деньги снимались, чтобы что-то купить или оплатить по поручению доверителя - нужен отчёт с чеками/документами, подтверждающими, куда ушли средства (та же ст. 974 ГК РФ). Если же поверенный просто снял деньги и держит их у себя или потратил на личные нужды - это уже не про "не хочу возвращать", а прямая обязанность вернуть, и при отказе это будет неосновательное обогащение (ст. 1102 ГК РФ), а в отдельных случаях - вопрос уже не гражданского, а уголовного права (присвоение/растрата).

Есть нюанс: если поверенный несёт какие-то расходы по исполнению поручения (проезд, услуги и т.п.), он вправе их удержать или потребовать возмещения - но это должно быть обосновано и оформлено, а не просто "я так решил".