Foram seus pais Florduardo Pinto Rosa e Francisca Guimarães Rosa. Aos 10 anos passou a residir e estudar em Belo Horizonte Em 1930, formou-se pela Faculdade de Medicina da Universidade de Minas Gerais. Tornou-se capitão médico, por concurso, da Força Pública do Estado de Minas Gerais. Sua estreia literária deu-se, em 1929, com a publicação, na revista O Cruzeiro, do conto "O mistério de Highmore Hall", que não faz parte de nenhum de seus livros. Em 36, a coletânea de versos Magma, obra inédita, recebe o Prêmio Academia Brasileira de Letras, com elogios do poeta Guilherme de Almeida.
Diplomata por concurso que realizara em 1934, foi cônsul em Hamburgo (1938-42); secretário de embaixada em Bogotá (1942-44); chefe de gabinete do ministro João Neves da Fontoura (1946); primeiro-secretário e conselheiro de embaixada em Paris (1948-51); secretário da Delegação do Brasil à Conferência da Paz, em Paris (1948); representante do Brasil na Sessão Extraordinária da Conferência da UNESCO, em Paris (1948); delegado do Brasil à IV Sessão da Conferência Geral da UNESCO, em Paris (1949). Em 1951, voltou ao Brasil, sendo nomeado novamente chefe de gabinete do ministro João Neves da Fontoura; depois chefe da Divisão de Orçamento (1953) e promovido a ministro de primeira classe. Em 1962, assumiu a chefia do Serviço de Demarcação de Fronteiras.
A publicação do livro de contos Sagarana, em 1946, garantiu-lhe um privilegiado lugar de destaque no panorama da literatura brasileira, pela linguagem inovadora, pela singular estrutura narrativa e a riqueza de simbologia dos seus contos. Com ele, o regionalismo estava novamente em pauta, mas com um novo significado e assumindo a característica de experiência estética universal.
Em 1952, Guimarães Rosa fez uma longa excursão a Mato Grosso e escreveu o conto "Com o vaqueiro Mariano", que integra, hoje, o livro póstumo Estas estórias (1969), sob o título "Entremeio: Com o vaqueiro Mariano". A importância capital dessa excursão foi colocar o Autor em contato com os cenários, os personagens e as histórias que ele iria recriar em Grande sertão: Veredas.
É o único romance escrito por Guimarães Rosa e um dos mais importantes textos da literatura brasileira. Publicado em 1956, mesmo ano da publicação do ciclo novelesco Corpo de baile, Grande sertão: Veredas já foi traduzido para muitas línguas. Por ser uma narrativa onde a experiência de vida e a experiência de texto se fundem numa obra fascinante, sua leitura e interpretação constituem um constante desafio para os leitores.
Nessas duas obras, e nas subsequentes, Guimarães Rosa fez uso do material de origem regional para uma interpretação mítica da realidade, através de símbolos e mitos de validade universal, a experiência humana meditada e recriada mediante uma revolução formal e estilística. Nessa tarefa de experimentação e recriação da linguagem, usou de todos os recursos, desde a invenção de vocábulos, por vários processos, até arcaísmos e palavras populares, invenções semânticas e sintáticas, de tudo resultando uma linguagem que não se acomoda à realidade, mas que se torna um instrumento de captação da mesma, ou de sua recriação, segundo as necessidades do "mundo" do escritor.
Além do prêmio da Academia Brasileira de Letras conferido a Magma, Guimarães Rosa recebeu o Prêmio Filipe d'Oliveira pelo livro Sagarana (1946); Grande sertão: Veredas recebeu o Prêmio Machado de Assis, do Instituto Nacional do Livro, o Prêmio Carmen Dolores Barbosa (1956) e o Prêmio Paula Brito (1957); Primeiras estórias recebeu o Prêmio do PEN Clube do Brasil (1963).