|
|
在人工智能大模型火热的今天，AI+的应用价值和前景令人瞩目，慢慢的变多的企业渴望搭上这趟AI技术的快车，落地大模型应用。
网宿科技300017）在行业率先推出边缘AI网关，提供安全、可靠、高性能、易观察的一体化模型服务管理方案，旨在打通AIGC应用落地“最后一公里”，助力企业AI应用创新。
目前大模型的商业化落地大致有两种路径：一是私有化部署，二是通过API调用成熟模型集成开发。由于私有化部署涉及复杂的模型训练和高昂的成本，更多企业倾向于通过API调用来集成开发AI应用。
对于企业而言，仅仅通过API集成模型并不足以满足实际需求，为了确认和保证模型应用能够符合预期，还需要仔细考虑稳定、安全、成本等因素。
例如，在内容响应方面，当模型出现错误或响应超时时，应用需要能够及时切换到另一个模型以确保使用者真实的体验不受影响。在安全管控方面，需要在后端配置敏感词过滤机制，一旦检测到涉及企业核心信息、政治问题等不当内容时，系统应自动拦截，确保模型交互安全合规。
此外，企业在使用多个模型或提供商时，面临高昂的调用成本。需要实时获取使用数据，对各模型、用户进行限量管理，以最优成本地利用各AI服务商的模型服务。
面对这一系列复杂的模型管理、规则定制，对于缺乏专业AI技术研发人员的企业而言，无疑是一个不小的挑战！
为了简化AI模型落地难度，网宿科技基于边缘无服务器计算平台，推出一个专门为访问和管理AI模型而设计的中间层服务——边缘AI网关，打通企业AIGC应用落地“最后一公里”。
网宿边缘AI网关预先集成市面主流模型，企业通过统一的通道入口和管理平台即能高效管理复杂的AI大模型，实现多模型接入、管理、运营一体化。同时，平台还提供缓存管理、边缘特殊配置和数据分析等丰富的功能，帮企业自定义模型应用规则，优化AI应用性能，提升业务的可用性和安全性。
目前，网宿边缘AI网关已提前完成与百度、微软等主流模型提供商的集成，企业研发人员不必开展复杂的代码调整，一次接入网宿边缘AI网关，即能无缝对接多个模型服务商。
通过界面化的统一控制台，研发人员仅需简单配置，即可自由选择、切换模型和版本，对多个模型的通道、API密钥和令牌等进行集中管理，大幅简化开发工作流程，让研发人员可真正专注于AI应用。
网宿边缘AI网关支持企业自主管理通道，自定义优先级、负载均衡、回退、自动重试等策略，确保模型服务的可用性。
举个例子，当国内一用户向微软Azure模型发起请求时，主选模型无法及时响应需求，AI网关会自动回退到下一个模型，将内容响应给用户。同时，依托网宿强大的全球资源网络，用户就近接入边缘AI网关，经由全球高速传输通道加速回源，减少了因跨国网络波动等异常因素对使用者真实的体验的影响，进而确保访问的稳定性和速度。
值得一提的是，通过将网宿边缘AI网关和边缘函数结合使用，研发人员可在近用户端的边缘节点灵活定制一些模型调用或中间处理逻辑，1小时内即可上线服务，大幅节省开发时间。
边缘AI网关实时记录日志，上层汇聚分析，得到各网关、模型的请求数、tokens数、缓存数、错误数等指标数据。通过可视化展示，让企业研发人员可实时监控和控制各模型的调用，优化模型使用策略或调整提示模板等。
结合缓存管理、限速等特殊配置，企业可依据需求对模型进行更精细的控制和调整，以逐步优化成本。比如企业开启缓存管理后，AI网关会判断请求是否命中缓存，如果命中直接响应，无需回到模型提供商，减少tokens消耗，降低调用成本。
边缘AI网关具备内容安全审核功能，可主动过滤敏感信息和不合规内容，帮企业守好数据和内容安全关。
在内容控制方面，边缘AI网关根据公司提供的敏感词列表自动检验测试请求内容，如有匹配，则直接拒绝请求或执行脱敏，避免敏感数据暴露到外网。在内容审计方面，对于交互中涉黄、涉政、涉暴类内容，支持第一时间识别和处置，确保AIGC合法合规，符合道德规范。
除了边缘AI网关，网宿科技深入企业应用、聚焦特定的AI场景，还打造了边缘向量数据库、边缘模型推理等边缘AI产品，计划下一步面相公众开放。
未来，网宿也将进一步拓展模型应用领域，通过与边缘函数、边缘KV存储、应用引擎等组合使用，助力企业在边缘端构建和扩展私有模型，执行智能问答、内容创作、检索增强、图片识别等AI任务。
AI时代，网宿将持续构建更加敏捷、适应性更强、更安全的AI生态系统，保障AI使用者能够灵活、高效、低成本的使用AI，进而提升公司生产力、改善使用者真实的体验、促进业务创新。
*ST亚星：公司正推进本次终止上市事项审批工作，控制股权的人已履行完毕内部决策程序
*ST亚星：公司正推进本次终止上市事项审批工作，控制股权的人已履行完毕内部决策程序
近3200亿元大白马创年内新低，280家机构盯上它！这些千亿巨头也亮了
近3200亿元大白马创年内新低，280家机构盯上它！这些千亿巨头也亮了
*ST亚星：公司正推进本次终止上市事项审批工作，控制股权的人已履行完毕内部决策程序
已有35家主力机构披露2024-06-30报告期持股数据，持仓量总计1.65亿股，占流通A股7.24%
近期的平均成本为7.37元。该股资金方面呈流出状态，投资者请谨慎投资。该公司运营状况尚可，多数机构觉得该股长期投资价值较高，投资的人可加强关注。
限售解禁：解禁436.1万股(实际值)，占总股本比例0.18%，股份类型：股权激励限售股份
投资者关系关于同花顺软件下载法律声明运营许可联系我们友情链接招聘英才使用者真实的体验计划
不良信息举报电话举报邮箱：增值电信业务经营许可证：B2-20090237
