La manera de hacer comentarios en react es un poco rara y cuando se busca información de cómo se hace es un poco dificil de encontrar. No se puede usar comentarios HTML adéntro de JSX

render() {
  return (
    <div>
      <!-- Esto no funciona -->
    </div>
  )
}

Es necesario usar comentarios en Javascript pero para eso vamos a necesitar usar las llaves de la siguiente manera:

{/* Un comentario JSX */}

Y en Multilinea:

{/* 
    Un comentario JSX
    en muchas
    líneas
*/}