En su reseña para Allmusic, Stephen Thomas Erlewine dice que el reemplazo del batería Tim "Herb" Alexander por Brian "Brain" Mantia no afecta al sonido de Primus, aunque sí dice que el álbum se acerca más al rock progresivo y al jazz progresivo.[1] Wook Kim de Entertainment Weekly, describe la banda como "en declive" desde sus primeros álbumes "satisfactoriamente ecléctivos", afrimando que con Brown Album "cruzan la línea entre nuevo y novedad".[2]
Tom Moon, de Rolling Stone, describe Brown Album como "precisamente el tipo de rareza que Primus hn estado buscando estos años – instrumentales de rock progresivo instrumentals camuflados en punk y las absurdas letras de un joven Zappa". Comentó que el álbum es "más accessible".[3]