Заключили договор, позже оказалось что с кем заключили такого ИП Уже нет

Здравствуйте, Александр! 
Ответственность по договору будет нести физическое лицо. Прекращение деятельности в качестве ИП не влечет за собой прекращения обязательств.
Долги ИП не списываются после прекращения статуса, их взыскивают с физлица.

ГК РФ Статья 24. Имущественная ответственность гражданина
 Гражданин отвечает по своим обязательствам всем принадлежащим ему имуществом, за исключением имущества, на которое в соответствии с законом не может быть обращено взыскание.

ГК РФ Статья 23. Предпринимательская деятельность гражданина

4. Гражданин, осуществляющий предпринимательскую деятельность без образования юридического лица с нарушением требований пункта 1 настоящей статьи, не вправе ссылаться в отношении заключенных им при этом сделок на то, что он не является предпринимателем. Суд может применить к таким сделкам правила настоящего Кодекса об обязательствах, связанных с осуществлением предпринимательской деятельности.