大型语言模型（LLM）和基础AI模型的兴起彻底改变了软件景观，为产品工程师增强用户体验提供了巨大的潜力。但是，公司如何有效利用这项技术？
我谈过 Igor Luchenkov，一名人工智能产品工程师，建立了基础设施以大规模利用LLM并创建了Hackathon平台 Hackathonparty 为了洞悉产品工程中应用的AI并使用户满意。
在SaaS解决方案中定义AI
Luchenkov定义了当前SaaS上下文中应用的AI，以源自从 LLMS。
Luchenkov说：“基础模型是一种基于大量数据的机器学习算法。” “这些模型可以理解特定域内的文本，图像，声音以及几乎所有输入。”
他指出了Openai的GPT和Anthropic的Claude，以及DeepSeek R1，Mistral，Gemma和Llama等著名例子。这些应用程序范围很大，从聊天机器人和满足摘要工具到代码生成和AI驱动数据分析平台。
Luchenkov说：“可能的用例的范围很高，尚未确定。”
评估应用AI的需求
Luchenkov建议一种实用AI实施的方法。
“首先，建立一种可起作用并为客户带来价值的产品。没有AI，” Luchenkov告诉我。这允许与AI计划进行比较的基线。然后成为关键问题：AI有很好的用例吗？
Luchenkov说：“我们正在寻找需要类似人类的，周到的决策的产品机会。” “重点应该放在自动化任务和提高用户生产率上。”
Luchenkov用他的工作来说明这一点 阐明，在其CRM中，AI Powers开会准备，发电子邮件和交易摘要。
Luchenkov说：“我们在该空间中闻名了一个明显的问题（客户关系是一个漫长而彻底的过程），并使AI变得更容易。” “公司应“确定需要解决智能系统的问题，并确保该问题值得解决。”
他还建议咨询Google的ML规则以建立指导 AI/ML系统。
关键的基础设施注意事项
Luchenkov强调应用AI应用程序的强调首先是需要解决传统软件工程挑战（例如可扩展性，响应时间，监视和警报）的应用程序。但是，AI介绍了自己的一套注意事项。
Luchenkov说：“您需要寻找模型性能衰减，数据分配变化以及特定特定任务的其他内容。”可观察性对于理解系统变化对性能和业务指标的影响至关重要。基础模型还提出了独特的挑战，尤其是在评估开放式响应时。
Luchenkov引用了一个模型的示例，总结了文本：“您如何知道LLM是否正确地总结了文本并且不构成内容？”可以使用诸如AI法官和困惑之类的指标，但是特定的选择取决于用例。
Luchenkov说：“一般来说，评估和监视对您特定任务有意义的指标。”
使AI使用民主化
Luchenkov认为，组织中的每个人都应该访问AI II。
卢钦科夫说：“ AI是一种商品。”限制访问阻碍创新。除了产品团队之外，他建议建立一个专门的AI R＆D团队来跟踪新兴模型和技术，并探索新的用例。
Luchenkov说：“这样的团队的目的是发现在产品中使用AI的新用例，并在产品的各个领域进行创新。”
他还推荐这些书“设计机器学习系统“ 和 ”人工智能工程” Chip Huyen提供有关基础架构和评估的更多信息。
减轻AI的风险
经常在庞大的数据集上训练的AI通常包含偏见和错误信息，具有固有的风险。 Luchenkov强调了AI产生有害或不适当的反应的潜力，理由是聊天机器人建议自杀。
Luchenkov说：“任何这样的先例都是对人们的悲剧，对公司造成了巨大声誉。”
即使是看似无害的错误，例如不正确的客户支持响应，也会损害信任并导致负面宣传。他重申了持续监控和评估的重要性，以确保绩效并确定潜在的问题。
解决声誉问题
Luchenkov承认由于AI的不可预测性而导致声誉损害的可能性。他指出了AI助手发表奇异陈述或产生有偏见的反应的例子。
Luchenkov说：“这就是为什么要有适当的保障措施，例如内容过滤和人类监督至关重要的原因。”
他指出，人类的监督在敏感领域（例如医疗保健，金融和法律服务）中至关重要，以确保准确性，合规性和道德责任。 Luchenkov总结说，最终目标是“利用AI的福利，同时保护公司的声誉并维持客户信任”。
