某工程项目的业主与监理签订了施工阶段监理合同.与承包方签订了工程施工合同。施工合同规定:设备由业主供应,其他建筑材料由承包方采购。

施工过程中,承包方未经监理工程师事先同意,订购了一批钢材,钢材运抵施工现场后,监理工程师进行了检验。检验中监理工程师发现承包方未能提交该批材料的产品合格证、质量保证书和材质化验单,且这批材料外观质量不好。

业主经与设计单位商定,对主要装饰石料指定了材质、颜色和样品,并向承包商推荐厂家,承包方与生产厂家签订了购货合同。厂家将石料按合同采购量送达现场,进场时经检查,该批材料颜色有部分不符合要求,监理工程师通知承包方该批材料不得使用。承包方要求厂家将不符合要求的石料退换,厂家要求承包方支付退货费用,承包方不同意支付,厂家要求业主在应付给承包方工程款中扣除上述费用。承包商要求退换不符合要求的石料是否合理?为什么?