En 1804 se construyó una serie de edificios, que mide 232 pies de largo y 19 pies de altura y anchura. Esta ala contenía la iglesia temporal (cerca de 86 pies de largo), una sacristía (14 pies de largo), los cuartos de los Padres (aproximadamente 29 pies de largo), y el granero (103 pies de largo). Con la ayuda de un grupo inicial de neófitos Chumash de Misiones de Santa Bárbara y La Purísima Concepción, esta porción se construyó seis meses antes de la fundación formal de la Misión de Santa Inés.
Las gruesas paredes de 30 pulgadas eran de adobe (tierra regional que contenía mucha arcilla). El techo consistía en polos sobre los que los palillos se sentaron uno junto al otro, y luego se cubre con una capa de tierra de adobe que se endurecía, sellando así el clima. El 17 de septiembre de 1804, el Padre Tapis oficialmente dedicado a la Misión de Santa Inés.
El refugio temporal broza fue construida a la que asistieron 200 indios solemne misa mayor. Veintisiete niños fueron bautizados y 15 hombres alistados para instruir en la religión católica. Padres José Romualdo Gutiérrez y José Antonio Calzada fueron seleccionados como los primeros sacerdotes residentes.
A finales de 1804 el registro bautismal ya contenía los nombres de 112 conversos Chumash de todas las edades.