卓望公司
AI网关平台高级研发工程师(J10821)
RESPONSIBILITIES
岗位职责
工作职责
负责 AI API网关后端研发,跟进LLM协议迭代,完善OpenAI兼容接口,完成 Chat Completions、Responses API、Embeddings、Rerank、图像/音频多模态接口适配,屏蔽上游模型厂商协议差异。
开发和优化AI网关的基础功能模块,例如AI缓存模块、AI 安全模块、SSE 流式、多租户、监控可观测、降级熔断
开发 Token 用量统计、成本核算、模型计费倍率、用户配额、调用日志、账单、运营分析等B端能力。
优化网关高并发、SSE 流式场景稳定性与延迟;实现限流、并发管控、缓存、队列、全链路可观测;落地 token 分配、算力调度、权重优先级分流、流量打标、重试、熔断、健康检查、故障自动切换容灾能力。
REQUIREMENTS
任职要求
任职资格
熟练 Go/Python,熟悉 HTTP、SSE 流式协议,有网关/七层网络代理开发经验优先;
精通高并发长连接场景,掌握限流、熔断、重试、故障降级等分布式治理,具备线上调优、排障实战;
了解 LLM API,熟悉 Chat Completions、Embedding 等模型调用流程,有 MaaS/AI网关经验优先;
熟悉消息队列、分布式存储,能设计计费、统计、日志链路,有多租户B端平台开发经验优先;
备云原生思维,兼顾功能、可观测。 加分
有C开发经验优先;
了解Kubernetes机制优先;
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。