Competition

AI4VN 2022 - VAIPE: Medicine Pill Image Recognition Challenge

Organized by anhduy0911 - Current server time: April 26, 2024, 10:57 a.m. UTC

First phase

Public Valid
July 17, 2022, 5 a.m. UTC

End

Competition Ends
Sept. 17, 2022, 3 a.m. UTC

Giới thiệu chung

Chủ đề - VAIPE: Medicine Pill Image Recognition Challenge

Các phương thuốc được sử dụng để hỗ trợ cho các bệnh nhân, giúp họ suy giảm hoặc chữa trị các bệnh lý. Tuy nhiên, việc uống nhầm thuốc có thể gây ra những hậu quả nghiêm trọng, bao gồm cả việc làm giảm hiệu quả điều trị, gây ra tác dụng phụ, hoặc thậm chí dẫn đến tử vong. Theo WHO, một phần ba tổng số ca tử vong là do sử dụng sai thuốc, không phải do bệnh. Sự phát triển rộng rãi và nhu cầu tiêu thụ thuốc ngày càng gia tăng đã làm tăng nhu cầu về các ứng dụng hỗ trợ trong việc xác định đúng các loại thuốc.

Nắm bắt được thực tế đó, VAIPE (AI-assisted IoT-enabled smart, optimal, and Protective hEalthcare monitoring and supporting system for Vietnamese) - một dự án được tài trợ bởi quỹ VINIF, dưới sự hợp tác của nhiều trường đại học danh tiếng ở trong và ngoài nước, hướng tới việc tìm kiếm giải pháp AI thông minh trong giải quyết bài toán nhận diện viên thuốc, từ đó tích hợp vào 1 ứng dụng điện thoại thực tế. Ngoài ra, mục tiêu của bài toán cũng liên quan đến việc phát hiện thuốc uống ngoài đơn để phục vụ cảnh báo người dùng. Vì vậy, chủ đề của cuộc thi là Định vị và nhận dạng các thuốc có trong ảnh, đồng thời chú trọng nhận diện thuốc ngoài đơn.

Nhiệm vụ

Trong cuộc thi này, nhiệm vụ chính là xác định viên thuốc (Pills detection) và nhận diện thuốc ngoài đơn (Out-of-prescription pills recognition). Các đội thi sẽ đưa ra các giải pháp phát hiện và nhận diện thuốc từ ảnh chụp (Pill images), nhưng đồng thời được khuyến khích sử dụng thông tin về đơn thuốc tương ứng với các ảnh đó (Prescription information). Dữ liệu được thu thập từ các bệnh viện lớn (đơn thuốc), và ảnh chụp thực tế của các thuốc theo đơn.

Sau khi định vị các thuốc ở trong ảnh bằng việc vẽ bounding box xung quanh (Rectangle 2 góc trái-trên và phải-cùng cho mỗi viên thuốc), ta cần nhận diện nhãn của các box này. Tuy nhiên, nhãn của những thuốc ngoài đơn sẽ được đánh trọng số cao hơn trong quá trình đánh giá kết quả mô hình. Kết quả đánh giá cuối cùng tính toán dựa trên những box định vị và phân loại đúng, sai so với dữ liệu thực tế.

Dữ liệu

Dữ liệu gồm 3 tập:

  • Dữ liệu huấn luyện gồm 9.500 ảnh viên thuốc và 1.171 ảnh đơn thuốc
  • Dữ liệu kiểm thử cho giai đoạn Public Test gồm 1.500 ảnh viên thuốc và 172 ảnh đơn thuốc
  • Dữ liệu kiểm thử cho giai đoạn Private Test gồm 1.600 ảnh viên thuốc và 184 ảnh đơn thuốc

Trong đó: Đầu vào cho mô hình là các ảnh thô không có bounding box. Đầu ra của mô hình là 1 tệp với định dạng csv, đặt tên là results.csv. Mỗi dòng của tệp kết quả results.csv sẽ biểu diễn cho một bounding box (tọa độ 2 điểm trái-trên và phải-cùng) , nhãn của thuốc và độ tự tin (confidence scores) chứa trong bounding box đó. Định dạng như sau:

  • image_name, class_id, confidence_score, x_min, y_min, x_max, y_max

Hướng dẫn nộp kết quả. (chi tiết xem tại phần Submission)

Với mỗi ảnh tên VAIPE_P_{num}.jpg, đội thi cần tạo ra n dòng trong tệp results.csv với n là số box định vị bởi mô hình cho ảnh đầu vào đó. Mỗi dòng đều cần có thông tin tên ảnh VAIPE_P_{num}.jpg.

Ví dụ: ảnh VAIPE_P_0_1.jpg thì cần xuất kết quả ra các dòng như sau: 
VAIPE_P_0_1.jpg, class_id, confidence_score, x_min, y_min, x_max, y_max

Sau đó file results.csv cần được nén thành file results.zip và nộp lên thệ thống.

Tiêu chí đánh giá

wmAP0.5-0.95 - gọi tắt wmAP -  là một tiêu chí đánh giá mới đã được thiết kế riêng cho bài toán này. wmAP hoạt động tương tự chỉ số COCO mAP được sử dụng rộng rãi trong các nghiên cứu và cuộc thi về nhận điện vật thể. Tuy nhiên, wmAP có thêm 1 phần trọng số lớn cho những thuốc được gán nhãn thuốc ngoài đơn, chi tiết xem ở phần Evaluation.

Baseline model

BTC cung cấp code mẫu cho các đội thi tại: https://github.com/VAIPE-Challenge-2022/ai4vn-vaipe-baseline

Quy định

  • Các đội tham gia được phép sử dụng các pre-trained model (ngoại trừ pre-trained model trên dữ liệu liên quan đến hình ảnh viên thuốc hay đơn thuốc) và phải khai báo lại cho ban tổ chức để kiểm tra xác thực. (Danh sách này sẽ được công bố tới toàn bộ các nhóm tham gia cuộc thi).
  • Chỉ sử dụng dữ liệu do BTC cung cấp. Không phân phối và sử dụng dữ liệu ngoài phạm vi cuộc thi này.
  • Các đội thi cần đóng gói code để reproduce kết quả vào trong docker container. Các đội nộp lại sau khi hoàn thành vòng Public Test và Private Test.

VAIPE: Medicine Pill Image Recognition Challenge sẽ được diễn ra với 2 giai đoạn: giai đoạn Public Test và giai đoạn Private Test:

  • Giai đoạn Public Test (15/07/2022 - 20/08/2022): nhằm lan tỏa thông tin tới toàn bộ cộng đồng IT & AI tại Việt Nam, từ đó giúp cộng đồng có thời gian tiếp cận với các hướng xử lý bài toán. Đồng thời, trong thời gian này, các đội thi sẽ được tiếp cận với dữ liệu thực tế, huấn luyện mô hình và đánh giá mô hình thông qua hệ thống đánh giá tự động. Số lần nộp bài tối đa là 10 lần trong 1 ngày.
  • Giai đoạn Private Test (21/08/2022 - 31/08/2022): BTC sẽ đánh giá các đội đạt kết quả tốt trong giai đoạn Public Test để lựa chọn vào vòng Private Test. Trong giai đoạn này, các đội thi sẽ nộp kết quả cuối cùng sử dụng mô hình đã được huấn luyện sẵn ở giai đoạn Public Test. Số lần nộp bài tối đa là 5 lần trong 1 ngày. Thời gian công bố danh sách nhóm và mở dữ liệu sẽ được thông báo sau.

Tiêu chí đánh giá

Kết quả sẽ được đánh giá dựa trên chỉ số chính là  wmAP0.5-0.95 (weighted COCO mean Average Precision). wmAP là trung bình có trọng số của AP trên các nhãn, trong đó AP cho nhãn thuốc ngoài đơn được đánh trọng số cao hơn trong bài toán này. wmAP càng cao thì mô hình nhận diện càng chính xác và càng xác định được nhiều thuốc ngoài đơn.

wmAP được tính theo công thức:

wmAP formula

trong đó alpha > 1 là trọng số của nhãn thuốc ngoài đơn; N+1 là tổng số class cần phân loại, nhãn thứ N+1 là thuốc ngoài đơn.

Điểm số cuối cùng của các đội sẽ được quyết định dựa trên chỉ số wmAP này vì tính tổng quát của nó.

Ngoài ra, các chỉ số sau cũng được tính để thấy được độ hiệu quả của mô hình khi thay đổi ngưỡng IoU cũng như với các kích cỡ của ảnh thuốc:

  • wmAP50: wmAP tính cho ngưỡng IoU=0.5
  • wmAP75: wmAP tính cho ngưỡng IoU=0.75
  • wmAPs: wmAP tính cho các bounding box small (S < 32^2)
  • wmAPm: wmAP tính cho các bounding box medium (32^2 < S < 96^2)
  • wmAPl: wmAP tính cho các bounding box large (96^2 < S)

Quy định chung

  • Quyền hủy bỏ, sửa đổi hoặc loại bỏ tư cách tham dự. Ban tổ chức cuộc thi có toàn quyền quyết định chấm dứt, sửa đổi hoặc đình chỉ cuộc thi.

  • Bằng cách gửi kết quả cho cuộc thi, bạn đồng thuận việc công khai điểm số của mình tại hội thảo của cuộc thi và trong các thủ tục liên quan, theo quyết định của Ban tổ chức. Điểm số có thể bao gồm nhưng không giới hạn các đánh giá định lượng được tiến hành tự động và thủ công, các đánh giá định tính, và các chỉ số đo mà ban tổ chức đánh giá là phù hợp. Bạn chấp nhận rằng quyết định cuối cùng liên quan đến việc chọn các chỉ số đo và giá trị điểm số nằm ở người ra đề.

  • Với việc tham gia cuộc thi, bạn xác nhận và công nhận rằng bạn đồng ý tuân thủ các luật và quy định hiện hành, đồng thời bạn không được vi phạm bất kỳ bản quyền, sở hữu trí tuệ hoặc bằng sáng chế nào của một bên khác đối với phần mềm mà bạn phát triển trong quá trình diễn ra cuộc thi và sẽ không vi phạm bất kỳ luật và quy định hiện hành nào liên quan đến kiểm soát xuất khẩu, quyền riêng tư và bảo vệ dữ liệu.

  • Giải thưởng được trao dựa trên sự xem xét và xác minh của Ban tổ chức cuộc thi về tính đủ điều kiện của người dự thi và tuân thủ các quy tắc này cũng như tuân thủ các yêu cầu dành cho đội thắng cuộc.

  • Người tham gia trao cho Ban tổ chức cuộc thi quyền sử dụng các bài dự thi của bạn cũng như mã nguồn và dữ liệu được tạo và sử dụng để tạo bài dự thi cho bất kỳ mục đích nào và không cần phê duyệt thêm.

  • Các nhóm đạt giải cam kết chuyển giao giải pháp cho dự án VAIPE. Nhóm tác giả có thể sử dụng vào mục đích khác tùy nhu cầu.

Điều kiện tham dự

  • Mỗi người tham gia phải tạo một tài khoản CodaLab để gửi giải pháp cho cuộc thi. Mỗi người chỉ được cấp phép duy nhất một tài khoản.

  • Cuộc thi diễn ra công khai, nhưng Ban tổ chức cuộc thi có thể quyết định bác bỏ quyền tham gia theo những cân nhắc riêng.

  • Ban tổ chức cạnh tranh có quyền loại bất kỳ người tham gia nào khỏi cuộc thi nếu, theo quyết định riêng của Ban tổ chức cuộc thi, chúng tôi tin rằng người tham gia đã cố gắng phá hoại hoạt động hợp pháp của cuộc thi thông qua gian lận, lừa dối hoặc các hành vi tham dự không công bằng khác.

Quản lý đội tham gia

  • Những người tham gia được phép thành lập đội. Số lượng người tham gia trong nhóm tối đa là 5 người.

  • Bạn không thể tham gia vào nhiều hơn một đội. Mỗi thành viên trong nhóm phải là một cá nhân duy nhất sử dụng một tài khoản CodaLab riêng biệt.

  • Việc hợp nhất nhóm được cho phép và có thể được thực hiện bởi trưởng nhóm. Yêu cầu hợp nhất nhóm sẽ không được phép sau "Thời hạn sáp nhập nhóm".

  • Để hợp nhất, nhóm được kết hợp phải có tổng số lần gửi nhỏ hơn hoặc bằng số lượng tối đa được phép cho một nhóm tính đến ngày hợp nhất. Mức tối đa được phép là số lần gửi mỗi ngày cho mỗi giai đoạn nhân với số ngày cuộc thi đã diễn ra.

  • Ban tổ chức không cung cấp bất kỳ hỗ trợ nào liên quan đến việc hợp nhất đội.

Thể lệ nộp bài

  • Số lần gửi tối đa trong mỗi giai đoạn:

    • Giai đoạn 1 - Khởi động:
      • Public Test: 10 lần / ngày / đội
    • Giai đoạn 2 - Về đích:
      • Private Test: 05 lần / ngày / đội

  • Nội dung bài dự thi sẽ bị vô hiệu nếu toàn bộ hoặc một phần không đọc được, không đầy đủ, bị hư hỏng, bị thay đổi, giả mạo, có được thông qua các phương tiện gian lận hoặc trễ hạn. Ban tổ chức cuộc thi có quyền loại bất kỳ người dự thi nào gửi bài không tuân thủ tất cả các yêu cầu.

Dữ liệu

Bằng cách tải xuống hoặc truy cập dữ liệu do Ban tổ chức cuộc thi cung cấp theo bất kỳ cách nào, bạn đồng ý với các điều khoản sau:

  • Thí sinh KHÔNG được sử dụng dữ liệu khác ngoài tập dữ liệu được cung cấp bởi cuộc thi.

  • Bạn sẽ không phân phối dữ liệu ngoại trừ mục đích phi thương mại và nghiên cứu học thuật.

  • Bạn sẽ không phân phối, sao chép, tái sản xuất, tiết lộ, chuyển nhượng, cấp phép phụ, nhúng, lưu trữ, chuyển nhượng, bán, giao dịch hoặc bán lại bất kỳ phần nào của dữ liệu do Ban tổ chức cuộc thi cung cấp cho bất kỳ bên thứ ba nào vì bất kỳ mục đích nào.

  • Dữ liệu không được sử dụng để giám sát, phân tích hoặc nghiên cứu nhằm cô lập một nhóm cá nhân hoặc bất kỳ cá nhân đơn lẻ nào vì bất kỳ mục đích bất hợp pháp hoặc phân biệt đối xử nào.

  • Bạn hoàn toàn chịu trách nhiệm về việc sử dụng dữ liệu của mình và sẽ bảo vệ và bồi thường cho Ban tổ chức cuộc thi, chống lại bất kỳ và tất cả các khiếu nại phát sinh từ việc bạn sử dụng dữ liệu.

Định dạng file nộp

Với mỗi ảnh tên VAIPE_P_{num}.jpg, đội thi cần xuất kết ra n dòng trong file results.csv, với n là số bounding box mô hình nhận diện được trong ảnh đầu vào đó.

Mỗi dòng của tệp kết quả results.csv sẽ biểu diễn cho một bounding box (tọa độ 2 điểm) và nhãn của thuốc chứa trong bounding box đó, đồng thời mức độ tự tin (confidence scores) của kết quả phân loại đó.

Dòng đầu tiên của file results.csv là header như sau "image_name, class_id, confidence_score, x_min, y_min, x_max, y_max".

Định dạng các dòng còn lại như sau:

image_name, class_id, confidence_score, x_min, y_min, x_max, y_max

Trong đó: tọa độ 2 điểm xác định bounding box bao gồm:

    • (x_min,y_min) là tọa độ của điểm top-left,
    • (x_max,y_max) là tọa độ của điểm bottom-right.

Ví dụ: VAIPE_P_0_1.jpg, 35, 0.94, 129, 349, 260, 569

Lưu ý: Nén file kết quả vào file results.zip và nộp lên hệ thống. File kết quả trong file .zip không được nằm trong thư mục cha nào.

Public Valid

Start: July 17, 2022, 5 a.m.

Public Test

Start: Aug. 25, 2022, noon

Private Test

Start: Sept. 16, 2022, 3 a.m.

Competition Ends

Sept. 17, 2022, 3 a.m.

You must be logged in to participate in competitions.

Sign In