Должна ли администрация как-то урегулировать этот вопрос и предоставить временного работника хотя бы на несколько часов в день или хотя бы на 1-2 дня в неделю.?

Добрый день.
Да, администрация обязана обеспечить работу библиотеки, даже если основной библиотекарь болеет.

Трудовое законодательство – если сотрудник болеет долго (более 1 месяца), работодатель (администрация) вправе ввести временное замещение (ст. 59 ТК РФ – срочный трудовой договор).
Нормативы работы учреждений культуры – библиотеки, особенно муниципальные, должны соблюдать режим работы, установленный местными властями. Длительное закрытие без уважительной причины нарушает права граждан.
Устав библиотеки – в нем может быть прописана минимальная нагрузка и условия работы в форс-мажорных ситуациях.
Куда жаловаться, если ничего не делают?
Руководству администрации, Управление культуры администрации города (письменное обращение с требованием решить вопрос).
В прокуратуру или Роспотребнадзор (если нарушаются права граждан на доступ к культурным услугам).
В органы местного самоуправления (депутатам, в администрацию района).
Совет: Напишите коллективное обращение от жителей – это увеличит шансы на реакцию.