MyQueue: giao diện dòng lệnh và Python cho việc quản lý công việc HPC
MyQueue gửi và theo dõi các công việc tính toán thông qua một công cụ dòng lệnh và một API Python, xử lý việc khởi động lại tự động cho các lỗi timeout và hết bộ nhớ. Được tạo ra bởi J. J. Mortensen và đội phát triển MyQueue cho các công cụ tiện ích, công cụ này thống nhất tương tác với SLURM, PBS và LSF, theo dõi công việc một cách liên tục với SQLite, và hỗ trợ các quy trình làm việc dựa trên thư mục và môi trường ảo Python. Nó nhắm đến các nhà nghiên cứu và kỹ sư chạy nhiều công việc trên cụm hoặc cục bộ và cần tự động gửi lại và theo dõi đơn giản.
MyQueue hoạt động như thế nào trong thực tế?
MyQueue hoạt động như một giao diện cho các bộ lập lịch HPC, chấp nhận các bản gửi thông qua lệnh mq submit hoặc API Python, sau đó đồng bộ hóa theo dõi tác vụ cục bộ với các bộ lập lịch từ xa. Nó ghi lại các tác vụ đã hoàn thành, thất bại và đang chạy trong một kho SQLite dựa trên thư mục, và có thể hoạt động trên các máy cục bộ hoặc cụm từ xa sử dụng SLURM, PBS hoặc LSF. Đầu vào là một kịch bản công việc hoặc tác vụ Python; đầu ra là trạng thái hàng đợi có thể nhìn thấy qua mq list.
Độ tin cậy của việc tự động gửi lại cho các công việc thất bại là bao nhiêu?
Ứng dụng tự động khởi động lại các tác vụ thất bại do giới hạn thời gian hoặc cạn kiệt bộ nhớ, điều chỉnh tài nguyên khi thử lại theo logic đã cung cấp. Hành vi đó giảm thiểu việc thử lại thủ công bằng cách tăng cường tài nguyên yêu cầu sau các chữ ký thất bại cụ thể. Theo dõi liên tục bảo tồn các nỗ lực trước đó, vì vậy bạn có thể kiểm tra lịch sử thất bại trước khi chấp nhận một lần gửi lại. Logic gửi lại nhắm vào các lỗi liên quan đến tài nguyên thay vì các lỗi tùy ý.
Có an toàn khi sử dụng trên các cụm sản xuất không?
MyQueue không yêu cầu một cơ sở dữ liệu riêng biệt hoặc quyền quản trị viên và lưu trữ trạng thái cục bộ với SQLite và các thư mục, điều này giữ cho các hoạt động minh bạch. Nó tương tác với các bộ lập lịch bằng cách sử dụng các lệnh gốc của chúng, vì vậy nó phụ thuộc vào mô hình quyền của bộ lập lịch cho việc gửi và hủy công việc. Thiết kế của công cụ tránh việc viết các dịch vụ hệ thống ẩn; nó hoạt động từ môi trường người dùng và bảo tồn hồ sơ công việc trong thư mục làm việc.
Tôi có cần kiến thức kỹ thuật để chạy nó không?
Cài đặt yêu cầu một môi trường Python (Python 3.9 trở lên) và một pip install, và hoạt động sử dụng các lệnh dòng lệnh hoặc API đã cung cấp. Người dùng thông thường không quen thuộc với các kịch bản công việc hoặc môi trường ảo sẽ gặp phải một đường cong học tập vì quy trình làm việc yêu cầu mô tả công việc của bộ lập lịch và kích hoạt môi trường. Các nhà nghiên cứu và kỹ sư dữ liệu đã chuẩn bị các kịch bản công việc và môi trường ảo sẽ thấy nó phù hợp với các thực tiễn hiện có.
Ai nên áp dụng MyQueue và tại sao
MyQueue phù hợp với các nhà nghiên cứu và kỹ sư những người gửi nhiều công việc cụm hoặc công việc cục bộ và muốn tự động gửi lại cho các lỗi liên quan đến tài nguyên; nó giảm bớt công việc thử lại thủ công trong khi giữ lịch sử công việc trong một thư mục được hỗ trợ bởi SQLite cục bộ. Mong đợi một quy trình làm việc qua dòng lệnh hoặc kịch bản và một số thiết lập ban đầu của Python và môi trường ảo. Được khuyến nghị.
