在最近发表在《自然-人工智能》的一篇文章中，来自美国Collaborations Pharmaceuticals公司的Fabio Urbina、Filippa Lentzos、Cédric Invernizzi和Sean Ekins对人工智能（AI）在药物合成之外的可能滥用，即制毒，提出了他们的担心。他们首次在瑞士联邦NBC（核、生物和化学）保护研究所（即斯皮兹实验室）召开的国际安全会议探讨了用于药物研发AI技术被滥用于生化毒剂的从头合成设计的可能性。由瑞士政府设立的“学科融合”系列会议每两年召开一次会议，参会的有科学家和裁军专家，讨论可能对化学和生物武器公约产生影响的化学、生物和赋能技术的现状，探讨化学和生物技术对国际安全的潜在影响和应对措施。每次会议为期三天。在最近的会议中Collaborations Pharmaceuticals公司也收到了申办方的邀请，发表了关于人工智能药物研发技术如何可能被滥用的讲话。讲话中公司就以下几个方面提出了他们的观点。
我们以前从未想到过这一点。我们只是模糊地意识到在病原体或有毒化学品的工作中存在安全问题，但我们认为这与我们无关，因为我们在虚拟环境中工作。我们的工作是为治疗和毒性靶点构建机器学习模型，以更好地帮助设计新药分子。几十年来，我们一直在使用计算机和人工智能来改善人类健康。我们没有认识到我们的研究可能会被滥用识，因为我们不研究可能干扰人类生命所必需的蛋白质的分子。甚至埃博拉病毒和神经毒素的项目也没有敲响我们的警钟。这些项目本应该引发我们思考机器学习模式潜在的负面影响。
我们的公司，即Collaborations Pharmaceuticals，Inc，最近发布了用于不同领域的毒性预测计算机器学习模型，这里我们在会议现场介绍人工智能如何用于设计毒性分子。这是一个我们以前从未考虑过思路。我们提出一个概念，即这个方法最终可演变为制造生化武器。
我们之前曾设计过一种商业化的可实现从头合成的分子设计软件，我们称之为MegaSyn2，它是生物活性的机器学习模型，目的是寻找人类疾病靶点的新的治疗性抑制剂。这种模型会抛弃预测有毒性的分子，并选择预测有更好活性的分子。我们可以简单地逆转这种学习逻辑，即让模型选择高毒性和高生物活性的目标分子。我们使用公共数据库中的分子训练人工智能，这些分子主要是有活性的药物样分子（即可合成且可被吸收）。在治疗神经疾病的化合物的数据可中，我们按照特定生物的致死剂量（LD50）模型对设计的化合物进行评分。软件是建立在其他现成的开源软件之上。为了缩小化合物的范围，我们以神经毒剂VX为参照，这是二十世纪的毒性最强的化学战剂之一。几粒VX（6-10毫克）足以杀死一个人。
（编者按：VX神经毒剂，化学名称为O-乙基-S-[2-(二异丙氨基)乙基]甲基硫代磷酸酯，是一种比沙林毒性更大的神经性毒剂，是最致命的化学武器之一。它也是一种无色无味的油状液体，主要是以液体造成地面、物体染毒，可以通过空气或水源传播，几乎无法察觉。人体皮肤与之接触或吸入就会导致中毒，头痛恶心是感染这种毒气的主要症状。VX毒气可造成中枢神经系统紊乱、呼吸停止，最终导致死亡。由隶属于英国皇家化工有限公司植物保护实验室的研究员Ranajit Ghosh与前瑞典国防研究部职员Lars-Erik Tammelin分别于1955年和1957年独立发现。在美国化学部队中的正式编号为EA-2192，因一直未有正式名称而常以其代号VX作为其称呼。）
在我们的内部服务器上运行不到6小时后，我们的模型生成了40000个分子，符合我们的要求。在这个过程中，人工智能不仅独立设计出了VX，还设计了许多其他已知的作为化学武器的毒剂。许多新的分子也被设计出来，看起来同样有毒。根据预测的LD50值，这些新化合物的毒性甚至比已知的化学毒剂更大（图1）。这是出乎意料的，因为我们用于训练人工智能的数据集不包括这些神经毒剂。通过逆转机器学习模式，我们已经将无害的生成软件从一个有用的医学工具转变为可能致命的化合物的生成器。
我们的毒性模型最初是为了避开毒性而创建的，使我们能够更好地筛选虚拟分子（用于制药和消费品应用），最终通过体外测试确认其毒性。然而，事实恰恰相反：我们的模型越能预测毒性，就越能生成有毒化合物。我们没有评估这些虚拟分子的合成难度，也没有探索如何用逆合成软件制造它们。对于这两个过程，现成的商业化的和开源的软件都很容易实现从头合成。我们也没有合成任何分子；但是由于全球有数百家商业公司提供化学合成业务，这步也不难实现；而且这一领域的监管很差，几乎没有任何法规去检查合成的化合物是否可能被用作化学武器的新型剧毒制剂。当然我们的软件可以加入一个控制模块，按照道德和伦理的要求，控制软件不要运行有毒性的分子。但是如果这个控制被移除或者换成一个有问题的控制命令呢？随着目前自动合成技术的突破，一个完整的设计-制造-测试周期不仅适用于制造药物，而且也适用于制造毒素。因此，我们证明了这么一个概念：一个不依赖人的自动制造致命化学武器的事情是会发生的。
应该为“药物研发人工智能”社区的同事敲响警钟。我们这么说完全不是危言耸听。虽然仍然需要一些化学或毒理学领域的专业知识来产生可能造成重大伤害的有毒物质或生物制剂，但当使用机器学习模型时，你只需要能够编码和理解模型的输出，它们大大降低了技术阈值。开源机器学习软件为学习和创建像我们这样的新模型提供了途径，而且提供预测与人类健康相关靶标的模型的毒性数据库随处都有。
我们的概念验证集中在VX类化合物上，但它同样适用于具有类似或不同机制的其他有毒小分子，只需对我们的方案进行微小调整。逆合成软件工具也在不断升级，可对已知和未知分子设计新的合成路线。因此，完全有可能预测化学毒剂的新合成路线，不使用国际上根据已知合成路线进行检测或控制化学合成原料。
现实是，这不是科幻小说。在数百家使用人工智能软件进行药物发现和从头设计的公司中，我们只是一家非常小的公司。他们中有多少人曾经考虑过改变用途或滥用的可能性？大多数公司将致力于小分子研究，许多公司资金雄厚，很可能利用全球化学网络来制造人工智能设计的分子。有多少人知道如何找到合适的化学结构设计比VX毒性大几个数量级的分子？我们目前还没有这些问题的答案。
此前，科学界尚未就从头分子设计的人工智能的双重用途问题进行过认真的讨论，至少没有公开讨论。关于人工智能的社会影响的讨论主要集中在安全、隐私、歧视和潜在的刑事滥用等方面，而不是国家和国际安全。当我们想到药物发现时，我们通常不会想到技术滥用的可能性。我们没有受到过相应的训练，但我们现在可以分享我们的经验。基于人工智能性机器学习的化合物设计工具同样适用于大分子（肽、大内酯等）和其他行业，如消费品和农用化学品，这些行业也对设计和制造具有特定物理化学和生物特性的新分子感兴趣。因此应该关注这些问题的研究者是很广泛的。
对我们新药研究者来说，一旦机器学习开始被滥用，就会一发不可收拾。我们现在必须问：这意味着什么？我们的商业工具、开源软件工具和许多公共数据库都可以在没有监督的情况下使用。如果机器学习导致了对人类的危害，或出现了苗头，人们将如何看待这项技术？媒体中对人工智能设计药物的热捧是否会突然转变为对人工智能设计毒剂的担忧、公众的羞辱和减少对这些技术的投资？我们整个领域应该就这个话题展开对话。
AI药物设计的声誉风险是巨大的：只需要一个坏苹果，比如敌对国家或其他寻求技术优势的行动者，就可以通过将我们模糊认识到的东西带到下一个合理的步骤而造成实际伤害。我们如何防止这种情况？我们能把所有的工具都锁起来然后扔掉钥匙吗？我们是否监控软件下载或将销售限制在特定对象？我们可以效仿GPT-3等机器学习模型软件的例子，GPT-3最初被限制在一定范围，以防止滥用，并有一个供公众使用的应用程序编程接口。即使在没有现状使用者的今天，GPT-3仍然有防止滥用的保障措施、免费内容过滤器和对滥用GPT-3的应用程序的监控。据我们所知，目前还没有文章就AI学习的双重用途进行讨论。作为负责任的科学家，我们需要确保防止人工智能的滥用，并确保我们开发的工具和模型只用于良好用途。
通过尽可能小心翼翼地接近一个灰色的道德边界，我们证明了不需要太多努力、时间或计算资源就可以设计出虚拟的潜在有毒分子。我们可以轻易地抹去我们创造的数千个分子，但我们无法删除如何重新创造它们的知识。
需要跨越传统边界和多个学科进行讨论，以便从不同的角度和各种各样的心态重新审视化合物从头设计的人工智能和相关技术。在这里，我们给出了一些建议，我们相信这些建议将减少人工智能在药物发现中潜在的双重用途问题。毒理学学会和美国化学学会等科学会议应积极促进来自工业界、学术界和政策制定者的专家就我们的计算工具的影响进行对话。
坚持将提高公众认知作为一项重要事情将极大地有助于提高人们对尖端技术潜在双重用途方面的认识，并促进我们这个领域的每个人都开展负责任的科学研究。海牙道德指南促进了化学科学中负责任的文化，并防止了化学滥用。我们可以从海牙道德指南等例子中获得启发，推动人工智能为重点的药物发现公司、制药公司和其他公司建立一套准则，以培训员工，保护他们的技术，防止软件被获取和滥用。使用面向公众的应用程序编程接口，并根据要求提供代码和数据，将极大地增强安全性和对如何使用已发布模型的控制，而且不会影响公众的访问。。
制定一个向当有关部门告的法规或热线，以便出现失误或发现有人在开发非治疗用途的有毒分子时使用是有价值的。最后，大学应该加倍努力，对理科学生进行道德培训，并将范围扩大到其他学科，尤其是计算机专业的学生，以便他们从职业生涯的早期阶段就意识到人工智能被滥用和产生广泛影响的可能性性。我们希望，通过提高对这项技术的认识，我们将在一定程度上证明，尽管人工智能这些虚拟的东西可以在医疗保健和其他行业有重要的应用，但我们也应该像对待化合物或生物制品等实物一样，努力防止双重用途的可能性。
Urbina, F., Lentzos, F., Invernizzi, C. et al. Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, 189–191 (2022). https://doi.org/10.1038/s42256-022-00465-9
