Хорошая задачка, хотя и очень простая.
Обозначим M - середина AC, BM - вертикальная ось симметрии АВС, N - точка касания АС вписаной окружностью, симметричная К относительно ВМ.
Тр-к АМС прямоугольный, BM/АМ =3/4 (по условию). Обозначим за х некую единицу измерения сторон, так что ВМ = 3*х, АМ = 4*х. Тогда АС = ВС = 5*х (надо ссылаться на Пифагора?), АN = АМ = 4*х, АС = 8*х.
Само собой, косинус ВАС (и ВСА) равен 4/5.
Имеем по теореме косинусов
b^2 = (8*x)^2 + (4*x)^2 - 2*(8*x)*(4*x)*(4/5);
Отсюда х^2 = b^2*5/144;
Площадь S = (4*x)*(3*x) = 12*x^2 = b^2*5/12