Добрый день!
Поскольку Вам сказали устно и не предоставили подтверждающих документов, то Вы можете строить дом с соблюдением общих правил градостроительного кодекса РФ и Вашего местного законодательства, собственник земельного участка вправе возводить строения на своем участке, при соблюдении градостроительных норм и правил, с учетом того, чтобы не ущемить в правах третьих лиц.
Но лучше получить разрешительную документацию на строительство и строить по утвержденному проекту, тогда проблем не будет, а так все таки есть риск, что Вам сказали правильно, и где-то записано про 15 метров.
Попробуйте оформить документы, может быть нет никаких 15 метров, а только 3.
Если участок купили дорого, то может быть он кому-то еще нужнее, и его можно продать дороже?
Сходите в администрацию или в управление архитектуры и узнайте, как Вам можно застраивать свой участок, какие нормы и правила застройки в Вашем городе или районе, вот и все.