在过去的 20 年，创新为我们造就了众多转折点，于这些转折点处，全新的职业类别得以应运而生。回想一下，2006 年亚马逊网络服务推出后，云端架构师与开发者的职位便顺势出现；伴随 iphone 和 android 的兴起，移动开发者成为了崭新的职业角色；当我们积累了充足的数据和计算能力，足以让神经网络运行时，机器学习工程师这一职业就此产生；而后，上述三种趋势相互交汇融合，数据科学家的职业开始引人注目。
这些新职业的诞生均是对新兴技术的直接回应，它们不但改变了工作的方式，还塑造了全新的行业标准与需求。每一轮的技术革命都会催生一批新的专家角色，他们凭借最新的技术去解决繁杂的问题，有力地推动了社会和经济的发展。
沿着这样的演变轨迹，我们当下或许已经抵达了另一个转折点：ai 工程师的兴起。在过去几年，ai 工程师日益流行，他们处在运用大型语言模型及其相关工具来构建生成式 ai 聊天机器人、agent 以及其他能力的前沿位置。
随着基础模型和 ai 工程的逐渐成熟，一些趋势开始显露。我们与 sada 公司的 google cloud 供应商、人工智能和机器学习副首席技术官 simon margolis 进行交流，以了解他们对于当前 ai 工程领域的观察以及后续可能出现的状况。
“这取决于你在生成式ai总体采用曲线上的位置，”margolis说。“有些人还在试水，而有些人则在chatgpt风靡全球之前就已经在做生成式ai工作了。你在这条发展路径上的位置，实际上深深影响着你所关注的核心趋势。”
总体而言，margolis在2024年中期为ai工程师指出了三大关键趋势：
1）无代码构建ai agent：即使不具备编程背景或专业技能，如今也能轻松创建ai agent，技术的门槛正被逐渐抹平。
2）传统ai与生成式ai的融合：不再是单一领域的探索，而是将机器学习与生成式ai等不同ai“模态”巧妙结合，创造出更加强大且灵活的应用场景。
3）ai自我迭代：利用生成式ai助力生成式ai agent的构建，这一循环增强的过程，使得ai的进化更为高效与智能。
1.无需代码构建ai agent
两大生成式ai平台——google cloud和openai——都致力于让ai工程师能够更轻松地构建ai agent，而无需过多纠结于基础模型或向量数据库本身。两者都引入了用于构建agent的工具，google cloud的vertex ai中的agent builder，以及openai的gpt系列。
"对于早期的尝鲜者而言，最显著的趋势之一便是无需深厚技术功底就能打造生成式agent，" margolis提到。"以往，你得精通transformer和rag等技术细节，但现在，这种需求大大降低了。”
他强调，虽然仍有极客在手造agent，但agent builder和gpts已成为主流工具，广泛应用于实践。
简化技术要求，让构建agent变得触手可及，这不仅激发了创新，还赋予了一线业务人员自行搭建agent的能力，减少了对专业开发者的依赖。
margolis解释说：“简单来讲，你从各种来源——可能是私有数据库、互联网或是两者的结合——提取信息，然后利用这些数据指导ai工具或生成式助手的工作。”这与过去一两年流行的langchain模式相似，即通过不断迭代提升输出质量，直至达到预期效果。不同的是，如今这个过程变得更加直观易懂。
借助agent builder和gpts这类工具，即便是非专业人士也能轻松上手，仅凭日常语言或直观操作界面就能完成任务，使凯发k8官方的解决方案的实施变得更加直接有效。
2.融合传统ai与生成式ai
结合不同ai“模态”的想法可能对ai工程师来说更具实际兴趣。值得注意的是，当margolis谈论模态时，他指的是我们可能认为的“传统”机器学习与新型基础模型和生成式ai之间的区别。这不同于生成式ai内部的模态概念，在那里输入和输出取决于媒介，如文本、音频、视频或翻译。
当margolis提及“模态”时，他实际上是在区分传统机器学习领域与新兴的基础模型及生成式ai技术之间的工作方式和特性。换句话说，“模态”指的是不同类型的ai处理方式或技术路径。对于ai工程师而言，如何有效地结合这些不同的“模态”以创造更强大、多功能的ai系统是一项挑战和机遇。
“以往人们要么在生成式ai领域工作，要么在围绕推断和预测的传统机器学习世界里工作，但现在我们开始看到这两个领域的融合。”
margolis强调，生成式ai的运用不必依赖于专门的ai代理或聊天机器人构建。他举例说明，在医疗保健领域，ai能以生成文本的方式整理和展现由医护人员录入的患者信息。随后，集成有推理功能的ai工具会在同一系统内分析这些信息，识别潜在的高风险病例。
回顾过去，margolis解释道：“若要开发类似医疗案例的应用，我得求助于懂模型搭建的ml专家同事，他们可能得用jax或tensorflow帮我打造预测模型，还得亲自操作gpu硬件，整个过程牵涉繁重的ml工程和数据科学任务。”而今，借助生成式ai，他可以直接将所需数据输入到预训练模型中进行处理，这一转变要求截然不同的专业技能。
为了缩小传统机器学习与生成式ai间的鸿沟，诸如google cloud的vertex ai平台之类的工具应运而生，sada作为其优选凯发k8官方的合作伙伴，正致力于此。margolis指出：“现在，工程师可以利用vertex轻松创建automl模型。虽然这不是完全无代码的体验，但大大减少了编码需求。无需从头构建模型，无需编写tensorflow或jax代码，也无需管理gpu或底层系统架构。”
这样的进步意味着工程师们可以更加专注于应用层面的创新，而非被底层技术细节所束缚。
3.利用生成式ai来构建更多的生成式ai
尽管我们离计算机自我组装并自动编程的时代尚远，但ai工程界的一项引人注目的进展是，生成式ai正在助力构建更多同类型的ai实体、机器人以及应用程序。这是一个循环促进的过程，正如margolis所说，它开启了广泛的参与机会。
“这确实是一个突破性的模式，让更多人有机会投身其中，”margolis评论道。
他将此现象与云计算领域近十至十五年来的重要转折相提并论，尤其是2010年左右，开发者首次能够在云中便捷地部署虚拟机；再到2014年前后，移动应用的开发门槛显著降低，使得更多人得以加入。
“这就像我们在公有云时代所见证的‘啊哈’时刻，”margolis回忆道，“当每个初学计算机科学或系统设计的学生，大约在2010年左右，都能独立搭建服务器和数据库时，那真是让人振奋。对于想要涉足ai领域的新人，一年半前还面临着一座难以逾越的高山。那时，你需要投入大量的时间和精力才能将你的构想变为现实。而现在，我们已处于一个创意即实践的阶段，有时，你甚至能在一顿午餐的时间内就完成一项初步作品。”
“如今，入行的障碍已被大幅削减，这对于所有人来说都是一大利好。”这意味着，生成式ai技术的探索和应用正变得越来越普及，为创新和实际应用开辟了更广阔的空间。
本文转载自https://www.51cto.com/article/792658.html
作者丨dan rowinski
编译丨诺亚
出品 | 51cto技术栈（微信号：blog51cto）
参考链接：https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/
