Как наказать охранника магазина, если он вымогал деньги и грозил вызовом полиции за кражу товара?

В указанном вами случае  имело место вымогательство со стороны сотрудника магазина, то есть преступление предусмотренное статьей 163 Уголовного кодекса России. Поэтому не следовало идти на поводу вымогателя  и переводить ему деньги. Потому что максимум  чтобы вам грозило ( при отсутствии доказательств  предварительного сговора на групповую кражу)- это административная ответственность по статье 7.27  КоАП РФ-наложение административного штрафа в размере до пятикратной стоимости похищенного имущества, но не менее одной тысячи рублей, либо административный арест на срок до пятнадцати суток, либо обязательные работы на срок до пятидесяти часов.
В настоящее время  практически доказать факт вымогательства С его стороны  не представляется возможным