Coding Agent Evaluation Specialist
2 weeks ago
ไทย
Thoth AI
เต็มเวลา
ฟรีด้วยอีเมลหรือ Google
บันทึกงานนี้และจัดระเบียบการค้นหาของคุณ
สร้างบัญชีฟรีเพื่อบันทึกงาน สร้างการแจ้งเตือน และกลับมาที่รายการนี้จากแดชบอร์ดของคุณ
ฟรีด้วยอีเมลหรือ Google
เมื่อดำเนินการต่อ แสดงว่าคุณยอมรับ ข้อกำหนด & นโยบายความเป็นส่วนตัว.
Apply and adapt coding rubrics to evaluate LLM code responses and agent trajectories (correctness, code quality, efficiency, security, tool usage)
Run and test code, reproduce issues, and verify outcomes against test cases and acceptance criteria
Identify and attribute errors (reasoning, implementation, tool use, environment) and write structured feedback
Complete rubric interpretation and golden-task training; pass the post-training qualification before starting work