Отказаться от доставки вы вправе только в одном случае: если поход по этому адресу непосредственно угрожает вашей жизни и здоровью. Тогда работник может отказаться от такой работы, письменно известив работодателя (ст. 379 ТК РФ). Брань и оскорбления сами по себе под это не подпадают, угрозы расправой или попытки применить силу уже подпадают.
Независимо от этого обязанность обеспечить безопасные условия труда лежит на работодателе. Напишите начальнику отделения служебную записку: кто, когда и что говорил, были ли угрозы, и попросите решить вопрос с доставкой по этому адресу, например вторым сотрудником или вручением пенсии бабушке иным согласованным способом. Без такой записки отказ легко представить как невыполнение обязанностей.
Оскорбление само по себе является административным правонарушением (ст. 5.61 КоАП РФ), дело по нему возбуждает прокурор, поэтому заявление лучше подавать в прокуратуру района.
Звучали ли от внука прямые угрозы или только брань? От этого зависит, можно ли уже сейчас ссылаться на ст. 379 или пока только требовать мер от работодателя.