Представим подкоренное выражение \(\displaystyle 38-10\sqrt{13} \) в виде квадрата разности, то есть

\(\displaystyle 38-10\sqrt{13}=(a-b)^2,\) где \(\displaystyle a \) и \(\displaystyle b\) нужно найти.

Раскроем скобки в правой части:

\(\displaystyle 38-10\sqrt{13}=a^2-2ab+b^2.\)

Так как при возведении в квадрат корень квадратный уходит, то естественно предположить, что \(\displaystyle \color{blue}{38}-\color{green}{10\sqrt{13}}=\color{blue}{a^2}-\color{green}{2ab}+\color{blue}{b^2},\) то есть,

\(\displaystyle \left\{\begin{aligned}\color{blue}{a^2+b^2}&=\color{blue}{38}\\\color{green}{2ab}&=\color{green}{10\sqrt{13}}.\\\end{aligned}\right.\)

Сократим обе части равенства \(\displaystyle 2ab=10\sqrt{13}\) на \(\displaystyle 2{ \small .}\) Тогда \(\displaystyle ab= 5\sqrt{13}.\)

Если известно значение \(\displaystyle a,\) то \(\displaystyle b=\frac{5\sqrt{13}}{a}.\)

Найдем методом подбора значения \(\displaystyle a \) и \(\displaystyle b{\small .}\) Так как \(\displaystyle b=\frac{5\sqrt{13}}{a},\) то можно предположить, что 

• \(\displaystyle a=1,\) тогда \(\displaystyle b=5\sqrt{13}{\small ; }\)
• \(\displaystyle a=5,\) тогда \(\displaystyle b=\sqrt{13}{\small ; }\)
• \(\displaystyle a=\sqrt{13},\) тогда \(\displaystyle b=5{\small ; }\)
• \(\displaystyle a=5\sqrt{13},\) тогда \(\displaystyle b=1.\)

Найдем пару, для которой \(\displaystyle a^2+b^2=38.\)

Если \(\displaystyle a=1\) и \(\displaystyle b=5\sqrt{13},\) то  

\(\displaystyle a^2+b^2=1^2+(5\sqrt{13})^2=1+25\cdot 13=1+325=326\,\cancel{=}\,38.\)

Если \(\displaystyle a=5\) и \(\displaystyle b=\sqrt{13},\) то  

\(\displaystyle a^2+b^2=5^2+(\sqrt{13})^2=25+13=38.\)

Поэтому \(\displaystyle a=5\) и \(\displaystyle b=\sqrt{13}\) – искомая пара и

\(\displaystyle 38-10\sqrt{13}=(5-\sqrt{13})^2.\)

Воспользуемся правилом.

Получаем:

\(\displaystyle \sqrt{ 38-10\sqrt{13}}= \sqrt{\left(5-\sqrt{13}\right)^2}= \left| 5- \sqrt{ 13}\right|{\small . } \)

Раскроем модуль для получившегося выражения \(\displaystyle \left| 5- \sqrt{ 13}\right|{\small . } \)

Для этого определим знак подмодульного выражения \(\displaystyle 5- \sqrt{ 13}{\small . } \)

 Поскольку \(\displaystyle 5-\sqrt{ 13}>0 {\small , } \) то знак модуля можно опустить:

\(\displaystyle \left| 5- \sqrt{ 13}\right|= 5- \sqrt{ 13}{\small . } \)

Таким образом,

\(\displaystyle \sqrt{38-10\sqrt{13}}=\sqrt{\left(5-\sqrt{13}\right)^2}= \left| 5- \sqrt{ 13}\right|=5- \sqrt{ 13}{\small . } \)

Ответ: \(\displaystyle 5-\sqrt{ 13}{\small . } \)