Fue hijo del coronel colombiano (nacionalizado peruano) Juan Manuel Grau Berrío y de la dama piurana Luisa Seminario del Castillo. Aunque nació en Piura, vivió su infancia en el puerto de Paita, donde forjó su vocación marina. A los 9 años de edad se embarcó como aprendiz de grumete en un buque mercante, pero este primer viaje se frustró al naufragar la nave frente a la isla Gorgona (1843). No obstante, no se amilanó y se embarcó nuevamente al año siguiente. Durante diez años navegó en 12 distintas naves, recorriendo diferentes puertos de Asia, Estados Unidos y Europa, completando además una circunnavegación, antes de retornar al Callao en 1853.

En 1854, Grau ingresó a la Marina de Guerra del Perú como guardiamarina, sirviendo sucesivamente en el vapor Rímac, el pailebot Vigilante y el vapor de ruedas Ucayali. En 1856, con el grado de alférez de fragata, pasó a servir a bordo de la fragata Apurímac, integrándose plenamente al cuerpo de oficiales de la marina. A instancias de su coterráneo, el teniente segundo Lizardo Montero, se sumó a la revolución conservadora de Manuel Ignacio de Vivanco en contra del presidente Ramón Castilla. Teniendo el control del Apurímac y de otras naves, los marinos revolucionarios operaron durante casi un año a lo largo del litoral peruano y participaron en el ataque al Callao de 22 de abril de 1857.

Derrotada la revolución vivanquista, Grau fue expulsado de la Armada (1858), por lo que debió volver a la marina mercante, navegando a lo largo de la costa peruana y ecuatoriana. Viajó también a la Polinesia (1862). Favorecido por la ley del 25 de mayo de 1861 dada por el Congreso, en 1863 fue readmitido al servicio naval como teniente segundo y pasó a ser segundo comandante del vapor Lerzundi. Poco después, ya como teniente primero, fue enviado a Inglaterra, comisionado para negociar la compra de unidades navales y supervisar la construcción de las mismas. Regresó como comandante de la corbeta Unión, que, junto con su gemela América, fue adquirida en Francia. Durante el viaje de trayecto al Perú, fue ascendido a capitán de corbeta. Ya en aguas peruanas, se sumó a la revolución restauradora de Mariano Ignacio Prado, siendo ascendido a capitán de fragata (1865). Durante la guerra hispano-sudamericana, se mantuvo al mando de la Unión y actuó en el combate de Abtao, librado el 7 de febrero de 1866 contra los buques de la escuadra española del Pacífico.

Se hallaba en Valparaíso, con la escuadra peruana, cuando, junto con otros marinos, protestó contra la decisión del gobierno de Prado de contratar al comodoro estadounidense John R. Tucker como comandante de la armada peruana en una proyectada expedición naval para liberar a Filipinas del dominio español. Acusado de insubordinación, fue apresado, confinado en la isla San Lorenzo y sometido a juicio, para finalmente ser declarado inocente (1867). Por tercera vez, regresó a la marina mercante y durante casi un año navegó al mando de dos vapores de una compañía inglesa. El 12 de abril de 1867 se casó con la dama limeña Dolores Cabero y Núñez, unión de la que nacieron diez hijos. Fue uno de los fundadores del Club de la Unión; un importante club social peruano (1868). Fue también miembro ilustre del tradicional Club Nacional.

A principios de 1868, Grau fue reincorporado al servicio naval como comandante del monitor Huáscar, siendo ascendido poco después al grado de capitán de navío. Tuvo un papel destacado en la actitud que asumió la marina frente a la rebelión de los coroneles Gutiérrez, en defensa del orden constitucional, suscribiendo junto con otros jefes y oficiales una proclama contra dicho golpe revolucionario (23 de julio de 1872).

En 1873, al mando del Huáscar, Grau realizó un crucero por el sur peruano y el litoral boliviano, al ocurrir la amenaza de un conflicto armado entre Chile y Bolivia por cuestiones territoriales. En 1874 fue comandante de la Escuadra de Evoluciones, recorriendo el litoral peruano entre el Callao e Iquique, y colaborando en la debelación de la intentona golpista del caudillo Nicolás de Piérola.