Dado um segmento de reta AB o lugar geométrico do vértice C que mantém invariante a área do triângulo ABC é uma reta paralela a AB. Assim sendo, uma área é mínima se a reta associada a essa área intersecta a parábola (i.e. há um ponto C na parábola onde ABC tem essa área) e qualquer outra reta paralela por baixo não intersecta a parábola (i.e. não há outro ponto C na parábola onde ABC tem área menor). Isto significa que a reta terá de ser tangente à parabola e o ponto C será o ponto de tangência.
Creio que com esta informação já consegue resolver o exercício: sabe a inclinação da reta (que é igual à inclinação do segmento AB), sabe a derivada f'(x) da função f(x) = x² - 2kx + k² + 2k + 6 (que dá a inclinação da reta tangente à parábola no ponto de abcissa x), só tem de ver onde se dá a igualdade para determinar o x, com isto determina C=(x,f(x)), depois determine a altura do triângulo ABC (sugestão: a altura é a mesma do paralelograma gerado pelos vetores (2,4) e (x,f(x))).