Utilisé principalement en soubassement, le silex taillé est un élément important du décor de la maison, sa brillance et les reflets de lumière contrastent avec la matité des autres matériaux, décor renforcé par la combinaison de silex noirs et de silex blonds.
Le silex, que l’on peut voir sur de nombreuses demeures cauchoises, provient soit des galets ramassés sur les plages de la côte d’Albâtre, soit de carrières situées en Pays de Caux. Incroyablement durs grâce à de leur composition minéralogique, les galets étaient pourtant cassés à la main (sans machine) par des ouvriers maçons ou des pêcheurs temporairement à terre. Une fois brisés avec le « casse-cailloux », les galets étaient revendus au maçon qui les retaillait et les utilisaient pour la construction de maisons.