Смириться или судиться, это верно, но стоит понимать, на чём именно будет строиться его иск, если он всё же подаст. Совместной собственности супругов здесь нет, потому что вы не в браке, поэтому его требование пойдёт не через раздел имущества, а через статью 1102 ГК РФ, неосновательное обогащение: он должен будет доказать, что вносил на этот вклад свои деньги, а вы обогатились за его счёт без оснований.
Бремя доказывания лежит на нём (ст. 56 ГПК РФ). Если вклад пополнялся переводами с его карты или есть переписка о совместном накоплении, шансы на частичное взыскание у него реальные. Если пополнения шли с вашей карты или наличными без следов, доказать почти нечего.
Сохраняли ли вы историю пополнений вклада, кто и с какого счёта туда переводил деньги?