Могу ли я отказаться или например направить заявление с уведомлением туда?

Да, вы можете отправить письменную жалобу заказным письмом. У вас есть право как на личный прием, так и письменное обращение.
Желательно отправлять с описью вложений. Если жалоба не на одной странице, то номеруйте страницы и указывайте это в описи. Если будут приложения, то составьте сопроводительное письмо с указанием кол-ва страниц обращения, перечислением заголовков приложений.

Придерживайтесь «правил» написания обращения в госорган: 

Федеральный закон от 2 мая 2006 г. N 59-ФЗ «О порядке рассмотрения обращений граждан Российской Федерации»
Статья 7. Требования к письменному обращению
1.Гражданин в своем письменном обращении в обязательном порядке указывает либо наименование государственного органа или органа местного самоуправления, в которые направляет письменное обращение, либо фамилию, имя, отчество соответствующего должностного лица, либо должность соответствующего лица, а также свои фамилию, имя, отчество (последнее — при наличии), почтовый адрес, по которому должны быть направлены ответ, уведомление о переадресации обращения,излагает суть предложения, заявления или жалобы, ставит личную подпись и дату.
2. В случае необходимости в подтверждение своих доводов гражданин прилагает к письменному обращению документы и материалы либо их копии.
...

Письменные обращения рассматриваются до 30 дней со дня его регистрации.

Статья 12. Сроки рассмотрения письменного обращения

1. Письменное обращение, поступившее в государственный орган, орган местного самоуправления или должностному лицу в соответствии с их компетенцией, рассматривается в течение 30 дней со дня регистрации письменного обращения, за исключением случая, указанного в части 1.1 настоящей статьи.
…

Нужный адрес найдете на официальном сайте ФСИН по ссылке: Адреса ФСИН.