A origem do nome do município é datada de 1905, quando o agricultor Rufino Pereira, morador na localidade de Cedrinho, hoje Urupema, fazia suas plantações na serra dos pereiras às margens dos rios, onde as terras eram mais férteis e o clima mais favorável às plantações.
O Sobrenome dos primeiros exploradores resultou na origem do primeiro nome do município, “Serra dos Pereiras”. Posteriormente o Município passou a se chamar Rio Rufino, em função da família de pioneiros. Os Fundadores da vila de Rio Rufino foram José Serafim dos Santos e Osório Pereira de Medeiros. Em 29 de dezembro de 1957, teve origem o Distrito de Rio Rufino. Em 12 de dezembro de 1991, pela lei de emancipação número 8.491, foi criado o município.
