А, В и С - углы треугольника АВС, противолежащие сторонам a, b и c может ли быть с^2=a^2+b^2+2ab*cosC?

Да, такое может быть только в том случае, если треугольник АBC прямоугольный и сторона с в нем является гипотенузой. По теореме Пифагора мы можем найти длину гипотенузы в квадрате, как сумма квадратов длин двух прилежащих к ней катетов. В формуле с² = a² + b² + 2ab * cosC есть третье слагаемое 2ab * cosC, которое не входит в формулу Рифагора. Если предположить, что с - гипотенуза, то угол противолежащий ей должен равняться 90 градусам. Косинус 90 градусов равен нулю, тогда всё слагаемое 2ab * cosC тоже равно нулю, и тогда мы получаем формулу с² = a² + b², а это и есть формула Пифагора.