1895年夏天，张謇闲居在家的时候，替两江总督张之洞起草的《条陈立国自强疏》提出了“富民强国之本实在于工”。张随即调任湖广总督，授意他在南通筹办一个纱厂。“状元办厂”当时是个新鲜事，除了他，只有苏州状元陆润庠在1897年办了苏纶纱厂、丝厂。此时，离甲午战败已有一年，《马关条约》也签定了，条约规定外国人可以在中国设厂，对中国人是个大大的刺激。尽管在这之前外国资本在华投资的企业已有不少。
当年12月，张之洞正式委任张謇“总理通海一带商务”。张謇在上海、南通、海门奔走几个月，包括老朋友沈敬夫在内，有6个关庄布商、花布商和买办愿意和他一起集股办厂，分别叫“沪董”和“通董”。在唐闸选定厂址之后，他取了厂名，“大生”二字源自《易经》“天地之大德曰生”这一句。
最初，张謇和“通、沪六董”商定办一个2万锭的纱丝厂（后来确定叫纱厂），“沪董”筹集40万两，“通董”筹集20万两。最早的一份《通海大生纱丝厂集股章程》就是六董联名公布的，他们分析了在南通办厂的利人利己之处，公开向社会集股60万两，分6000股，每股100两，预计每股每年可以获利22两，以2个月为期，在上海、南通、海门三处认购，结果应者寥寥，招股很不理想。
这样一来，所谓的“官招商办”这一步走不通了。1896年12月6日，以江宁商务局名义与通州大生纱厂签定“官商合办”条约，第一条规定将南洋纺织局现有纱机47000多锭连同全副锅炉引擎，折价官股50万两规银投资大生，沈敬夫等6董都在合同上签了字。说是“官商合办”，官方提供的只是一批积压已久的机器，并没有现金，大生要另外筹集50万两商股，建厂房、收原料及作为营运资本。1897年，大生重订集股章程，向社会招股50万两，分5000股，还是进展不顺，上海方面只收到2万两，南通也不足6万两，离目标实在太远。
在新任两江总督、南洋大臣刘坤一的过问下，这年8月11日，张謇和官商盛宣怀达成《通沪纱厂合办约款》，4万多锭官机对分，张謇领的一半作价25万两做为大生的官股（盛领的一半另在上海浦东办一家纱厂），大生的股本25万两也由神通广大的盛氏帮助筹集，这一条款白纸黑字写在合同上，签名的除了他们两人，还有见证人郑孝胥、何眉生。8月16日，江宁商务局和张、盛三方签署合同，张、盛分别在通、沪设厂。合同迄今还保存在大生档案中。可以说，到这一年，大生纱厂的筹办才进入实质性阶段。9月26日，“大生机器纺纱厂股票”开始发行，署名是“经理通州纱厂张季直”，因为盛宣怀承诺帮助筹资，所以票面上还印有他的头衔姓氏。当年10月17日，2万多锭官机由军舰运到南通，这批英国造的机器已在上海码头搁置5年之久，日晒雨淋，连包装木箱都破了，机器零件锈坏的占了十之三、四。光是搬运和擦锈就花去6000两。前来安装的英国工程师说，从来没看见过损坏成这样的机器。
盛宣怀承诺的资金一直没有到位，张謇写了无数告急之书，几乎字字有泪，到最后一分也没有兑现。张謇大为恼火，一直不能原谅盛的言而无信。
在筹办大生纱厂的过程中，最初的“通沪六董”中有人退出，有人因集股不力被撤，又吸收了几个人进来，最后参与建厂的4个通董比较得力，除了关庄布商沈敬夫，还包括木材商高清、典当商蒋书箴等，在唐闸买下厂基之后，他们垫出部分股金做建筑费，着手建厂。那个时代，人们对办新式企业没有认识，有了余钱或者买地，或者投入传统的典当、钱庄等熟悉可靠的行业去。办新式工厂集股困难重重，他们连当地慈善团体、道观有限的一点资金也吸收了，有时凑不了一股[100两]，连半股也收，最小的一笔仅37两，半股都不够，只能算作存款。集股之难，可以想见。
大生直到开机时，招股一直不顺，实收资本不足20万两，买地、建厂房，加上支付官利等其他开支，已用去19万两多，资金耗尽，每天仅收棉花一项就要1万多现金，只有靠借债一条路，可就是借债也难乎其难，无奈只有“尽花纺纱，卖纱收花，更续自转”。（因为没有流动资金，张謇一度想按50万两股本、年息8厘把厂租给朱幼鸿、严信厚，只是两人贪心太重、一再压价，没有谈成。）
大生开机前后，张謇几乎天天在过“年三十夜”。他在外地，每次接到沈敬夫的告急信一筹莫展，不时在日记中感叹“通厂筹款，垂成而败”、“通厂筹款迄不谐”。他当时多数时间在南京主持文正书院，靠这份薪水养家，筹办的四年多时间，他未用过大生的一分钱，其他几个董事也是。他在上海奔走，最艰难的时候，旅费无着，“常常跑到黄浦滩对天长叹，看江也是长叹，眼睛里泪同潮水一样涌出来。有时候旅费不够，也卖过好几回的字，厂款分文不去动用。”
1897年，张謇接连接到翰林院催他回京的三封函电，他曾写信对好友沈曾植说：“愿成一分一毫有用之事，不愿居八命九命可耻之官。”1898年他到北京销假，正值百日维新，赶上恩师翁同龢被罢官，官场险恶难测，想起甲午年在大雨中跪迎慈禧太后那一幕，更是心寒。那一回，慈禧太后从颐和园进宫，恰逢暴雨，路面积水一二尺，文武百官都出城迎驾，个个匍匐路旁，衣帽尽湿，两膝泡在水里，顶戴上的红缨流下鲜红的水，其中有七八十岁的老臣。慈禧乘轿子经过时，视若无物。这件事给他很大的震撼，读书致仕，身居庙堂，难道就是做叩头虫吗？此次南下，他决心远离官场，“三十年科举之幻梦，于此了结。”实业的路无论多难，也要咬牙坚持下来。十多年后，他在1909年冬天对刘厚生说：“我早已想到假如我到北京做官，当然一无所成。”
没有想到，大生纱厂开机第一年就赢利了，在支付了官股、商股的四万多两官利后，还有78000多两余利。这一年虽然有八国联军进京，棉纱市场也受到影响。但天助张謇，大生熬过了严寒的冬天。原来收不起来的商股收齐了，当初写信给两江总督刘坤一诬告“张謇乱要钱，大帅勿为所蒙，厂在哪里，哪有此事”的浙江候补道朱幼鸿主动入股一万两。从此以后，大生几乎年年赢利。1903年外纱倾销，上海各纱厂都受挫，大生不仅获利，而且继续扩大规模，添了2万多纱锭，光是1905年这一年就“赚回了半个厂”，这一年虽发生了日俄战争，但南通销往东北的关庄布在600万匹以上。大生开足马力，日夜出纱，以满足当地织户需要。
大生成功的原因有很多。南通一带的气候、土壤都适合棉花生长，向来有“种棉卖钱，胜过种稻贩盐”的说法。因为靠近原料产地，大生可以用优惠价格在本地收到最优质的棉花。很多年后，无锡公益工商中学学生参观上海华商纱布交易所时看到，棉花交易以通州花为标准。大生利用地利，自己设门庄、分庄，还委托抄庄、下庄代收棉花，布下一张天罗地网。张謇和几个董事都出生农家，从小熟悉棉花的生长规律、年成丰歉，每当白露前后，外地“客庄”到来之前，他们就已派人到棉田去估计当年棉花产量等情况，做出相应的收花政策，或先发制人，或后发制人，或人舍我取，对本地棉花行情有很强的驾驭能力。
南通的工资比上海等地要低得多，成人熟手每天工资最多1角（全国工人平均日工资要1.5到2角），固定工人两周发一次，学徒、职员一个月发一次。这样的廉价劳动力可遇而不可求。
南通地处长江北岸，在长江口和大海之间，三面环水，形似半岛，地理位置独特，战争一般不大会波及这里。产品可以就地消化，不用外销，南通以关庄布（也叫通州大布）驰名，这种手工织布结实、耐穿、御寒，深受东北人欢迎，织布需要大量比手纺纱合用的机纱。何况机器纺纱，一个工人可以抵得上五六十个巧妇。纺织专家李升伯说：“我发现南通的棉花是世界上最清洁干净的棉花，南通最著名的用12支粗纱织制的土布，是世界上最坚韧结实而且光滑滋润的布匹。”大生的机纱受本地市场青睐是可想而知的。在水陆交通都很方便的三圩镇等处，张謇安排开设了大生的零销点，直接出售小包棉纱，价格优惠，不按上海市场价。大生初创时的几个董事如沈敬夫、刘桂馨等本身就是关庄布巨头，都有传统商业经营的经验，重视经营，所以大生产品几乎不用考虑对外开拓市场，满足本地市场就已够它忙的。这是地利，在很长时间内都支撑着大生的兴旺。当然，利同时也是弊，使大生一直没有能建立起一个外部市场，进入竞争状态，本地市场一旦出现问题，就会引发危机。
大生在企业管理上形成了制度化，早在开机前，张謇执笔的《厂约》就对自己和几个董事做了分工，各人职责明确，奖罚措施、利润分配方式等都有具体规定，每天下午两点各部门主管举行例会，有什么问题及时在这个会上讨论解决。有研究表明，他那时就有成本控制思想，认为不减轻成本，不能和外国进口产品竞争。
《厂约》之外还有25个章程，规矩多达195条，在当时，这恐怕已是中国人自办企业能达到的最高水准。
长期研究大生档案的肖正德说，大生企业有老职员回忆，他们发信、写便函、记帐，对用笔、用纸、用墨和书写格式都有严格的规定。保留至今的大生会计档案，百年后仍字迹清晰。
另一个不能遗漏的因素就是张謇个人的影响。张謇事实上已和大生合为一体，不可分割。作为股份制企业的大生纱厂，虽有官股，但官股只拿官利、分红，并不干涉厂务。所以，张謇不认为这是“官商合办”，他自己叫做“绅领商办”[或“绅督商办”]，身为总理，他个人虽也是股东之一，但股金不过区区2千两（在全部资本中只占0.4%），而且当时只交出了1300两，另外700两还是沈敬夫帮他垫的。他在大生的权威从来都不是靠资本，靠股份，而是他的状元头衔、人脉资源，他以士绅身份，居官商之间，负责全权办厂，这是他独有的不可替代的优势，官替代不了他，单纯的商也不可能替代他。张謇与周学熙曾被合称为“南张北周”，但又和周不一样，《剑桥晚清中国史》中有一句话：“在周学熙恋栈官位时，张謇已辞去了一切公职。这个决定不是轻易作出的。”
