ทดสอบด้วย libFuzzer

การทดสอบแบบ Fuzzing ซึ่งก็คือการให้ข้อมูลที่อาจเป็นไม่ถูกต้อง ไม่คาดคิด หรือสุ่มเป็นอินพุตให้กับโปรแกรม เป็นวิธีที่มีประสิทธิภาพอย่างยิ่งในการค้นหาข้อบกพร่องในระบบซอฟต์แวร์ขนาดใหญ่ และเป็นขั้นตอนสำคัญในวงจรการพัฒนาซอฟต์แวร์

ระบบบิลด์ของ Android รองรับการทดสอบแบบ Fuzzing ผ่านการใช้ libFuzzer จากโปรเจ็กต์โครงสร้างพื้นฐานคอมไพเลอร์ LLVM LibFuzzer จะลิงก์กับไลบรารีที่อยู่ระหว่างการทดสอบและจัดการการเลือกอินพุต การเปลี่ยนรูปแบบ และการรายงานข้อขัดข้องทั้งหมดที่เกิดขึ้นระหว่างเซสชันการทดสอบแบบ Fuzzing Sanitizer ของ LLVM ใช้เพื่อช่วยในการตรวจหาหน่วยความจำที่เสียหายและเมตริกการครอบคลุมโค้ด

บทความนี้จะแนะนำ libFuzzer ใน Android และวิธีสร้างที่มีการแทรกข้อมูล รวมถึงวิธีการเขียน เรียกใช้ และปรับแต่งโปรแกรมตรวจหาช่องโหว่

การตั้งค่าและการสร้าง

คุณสามารถดาวน์โหลดอิมเมจเริ่มต้นและแฟลชอุปกรณ์เพื่อให้แน่ใจว่าอุปกรณ์มีอิมเมจที่ใช้งานได้ หรือจะดาวน์โหลดซอร์สโค้ด AOSP แล้วทำตามตัวอย่างการตั้งค่าและการสร้างด้านล่างก็ได้

ตัวอย่างการตั้งค่า

ตัวอย่างนี้ถือว่าอุปกรณ์เป้าหมายเป็น Pixel (taimen) และเตรียมพร้อมสำหรับการแก้ไขข้อบกพร่องผ่าน USB (aosp_taimen-userdebug) แล้ว คุณสามารถดาวน์โหลดไบนารีอื่นๆ ของ Pixel ได้จากไบนารีของไดรเวอร์ 

mkdir ~/bin
export PATH=~/bin:$PATH
curl https://storage.googleapis.com/git-repo-downloads/repo > ~/bin/repo
chmod a+x ~/bin/repo
repo init -u https://android.googlesource.com/platform/manifest -b main
repo sync -c -j8
wget https://dl.google.com/dl/android/aosp/google_devices-taimen-qq1a.191205.008-f4537f93.tgz
tar xvf google_devices-taimen-qq1a.191205.008-f4537f93.tgz
./extract-google_devices-taimen.sh
wget https://dl.google.com/dl/android/aosp/qcom-taimen-qq1a.191205.008-760afa6e.tgz
tar xvf qcom-taimen-qq1a.191205.008-760afa6e.tgz
./extract-qcom-taimen.sh
. build/envsetup.sh
lunch aosp_taimen-userdebug

ตัวอย่างการสร้าง

ขั้นตอนแรกของการเรียกใช้เป้าหมายการทดสอบคือการสร้างภาพระบบใหม่ เราขอแนะนำให้ใช้ Android เวอร์ชันสำหรับนักพัฒนาซอฟต์แวร์ล่าสุดเป็นอย่างน้อย

  1. ดำเนินการบิลด์ครั้งแรกโดยออกคำสั่งต่อไปนี้ 
    m
  2. หากต้องการแฟลชอุปกรณ์ ให้บูตอุปกรณ์เข้าสู่โหมด Fastboot โดยใช้ชุดค่าผสมของแป้นที่เหมาะสม
  3. ปลดล็อกโปรแกรมโหลดบูตและแฟลชอิมเมจที่คอมไพล์ใหม่ด้วยคำสั่งต่อไปนี้ 
    fastboot oem unlock
fastboot flashall

ตอนนี้อุปกรณ์เป้าหมายควรพร้อมสำหรับการทดสอบข้อบกพร่องของ libFuzzer แล้ว

เขียนโปรแกรมตรวจหาช่องโหว่

ตัวอย่างการเขียนโปรแกรมจำลองข้อบกพร่องจากต้นทางถึงปลายทางโดยใช้ libFuzzer ใน Android คือการใช้โค้ดที่มีช่องโหว่ต่อไปนี้เป็นกรณีทดสอบ ซึ่งจะช่วยทดสอบโปรแกรมสร้างข้อมูลที่ไม่ถูกต้อง ตรวจสอบว่าทุกอย่างทํางานอย่างถูกต้อง และแสดงลักษณะข้อมูลข้อขัดข้อง

นี่คือฟังก์ชันทดสอบ 

#include <stdint.h>
#include <stddef.h>
bool FuzzMe(const char *data, size_t dataSize) {
    return dataSize >= 3  &&
           data[0] == 'F' &&
           data[1] == 'U' &&
           data[2] == 'Z' &&
           data[3] == 'Z';  // ← Out of bounds access
}

วิธีสร้างและเรียกใช้โปรแกรมตรวจหาข้อบกพร่องแบบทดสอบนี้

  1. เป้าหมายการทดสอบประกอบด้วย 2 ไฟล์ ได้แก่ ไฟล์บิลด์และซอร์สโค้ดเป้าหมายการทดสอบ สร้างไฟล์ในตำแหน่งข้างไลบรารีที่คุณจะทำ Fuzzing ตั้งชื่อโปรแกรมตรวจหาช่องโหว่ที่อธิบายถึงสิ่งที่โปรแกรมตรวจหาช่องโหว่นั้นทํา
  2. เขียนเป้าหมายการทดสอบการใช้ข้อมูลเท็จโดยใช้ libFuzzer เป้าหมายการสร้างความสับสนคือฟังก์ชันที่รับกลุ่มข้อมูลขนาดที่ระบุและส่งไปยังฟังก์ชันที่จะสร้างความสับสน นี่เป็น Fuzzer พื้นฐานสําหรับฟังก์ชันการทดสอบที่มีช่องโหว่ 
    #include <stddef.h>
#include <stdint.h>

extern "C" int LLVMFuzzerTestOneInput(const char *data, size_t size) {
  // ...
  // Use the data to call the library you are fuzzing.
  // ...
  return FuzzMe(data, size);
}
  3. บอกระบบบิลด์ของ Android ให้สร้างไบนารีของโปรแกรมตรวจหาช่องโหว่ หากต้องการสร้างโปรแกรมสร้างข้อมูลที่ไม่ถูกต้อง ให้เพิ่มโค้ดนี้ลงในไฟล์ Android.bp 
    cc_fuzz {
  name: "fuzz_me_fuzzer",
  srcs: [
    "fuzz_me_fuzzer.cpp",
  ],
  // If the fuzzer has a dependent library, uncomment the following section and
  // include it.
  // static_libs: [
  //   "libfoo", // Dependent library
  // ],
  //
  // The advanced features below allow you to package your corpus and
  // dictionary files during building. You can find more information about
  // these features at:
  //  - Corpus: https://llvm.org/docs/LibFuzzer.html#corpus
  //  - Dictionaries: https://llvm.org/docs/LibFuzzer.html#dictionaries
  // These features are not required for fuzzing, but are highly recommended
  // to gain extra coverage.
  // To include a corpus folder, uncomment the following line.
  // corpus: ["corpus/*"],
  // To include a dictionary, uncomment the following line.
  // dictionary: "fuzz_me_fuzzer.dict",
}
  4. วิธีสร้างโปรแกรมสร้างข้อมูลเท็จเพื่อเรียกใช้บนเป้าหมาย (อุปกรณ์) 
    SANITIZE_TARGET=hwaddress m fuzz_me_fuzzer
  5. วิธีสร้างโปรแกรมตรวจหาช่องโหว่เพื่อเรียกใช้บนโฮสต์ 
    SANITIZE_HOST=address m fuzz_me_fuzzer

กำหนดตัวแปรเชลล์บางรายการที่มีเส้นทางไปยังเป้าหมายการทดสอบแบบไม่เจาะจงและชื่อของไฟล์ไบนารี (จากไฟล์บิลด์ที่คุณเขียนไว้ก่อนหน้านี้) เพื่ออำนวยความสะดวก

export FUZZER_NAME=your_fuzz_target

หลังจากทําตามขั้นตอนเหล่านี้ คุณควรมีโปรแกรมสร้างข้อมูลเท็จที่สร้างขึ้น ตำแหน่งเริ่มต้นของโปรแกรมสร้างข้อมูลเท็จ (สำหรับบิลด์ Pixel ของตัวอย่างนี้) คือ

  • $ANDROID_PRODUCT_OUT/data/fuzz/$TARGET_ARCH/$FUZZER_NAME/$FUZZER_NAME สำหรับอุปกรณ์
  • $ANDROID_HOST_OUT/fuzz/$TARGET_ARCH/$FUZZER_NAME/$FUZZER_NAME สำหรับโฮสต์

    • เรียกใช้โปรแกรมตรวจหาช่องโหว่ในโฮสต์

  • เพิ่มลงในไฟล์บิลด์ Android.bp 
    host_supported: true,
     โปรดทราบว่าวิธีนี้ใช้ได้เฉพาะในกรณีที่ไลบรารีที่คุณต้องการใช้การทดสอบแบบไม่ระบุแหล่งที่มารองรับโฮสต์เท่านั้น
  • เรียกใช้โปรแกรมตรวจหาช่องโหว่ในโฮสต์โดยเพียงเรียกใช้ไบนารีโปรแกรมตรวจหาช่องโหว่ที่สร้างขึ้น 
    $ANDROID_HOST_OUT/fuzz/x86_64/$FUZZER_NAME/$FUZZER_NAME

    • เรียกใช้โปรแกรมตรวจหาช่องโหว่ในอุปกรณ์

    เราต้องการคัดลอกข้อมูลนี้ไปยังอุปกรณ์ของคุณโดยใช้ adb

    1. หากต้องการอัปโหลดไฟล์เหล่านี้ไปยังไดเรกทอรีในอุปกรณ์ ให้เรียกใช้คำสั่งต่อไปนี้ 
      adb root
adb sync data
    2. เรียกใช้โปรแกรมสร้างข้อมูลเท็จทดสอบในอุปกรณ์ด้วยคําสั่งนี้ 
      adb shell /data/fuzz/$(get_build_var TARGET_ARCH)/$FUZZER_NAME/$FUZZER_NAME \
  /data/fuzz/$(get_build_var TARGET_ARCH)/$FUZZER_NAME/corpus

    ซึ่งจะให้ผลลัพธ์ที่คล้ายกับตัวอย่างเอาต์พุตด้านล่าง 

    INFO: Seed: 913963180
INFO: Loaded 2 modules   (16039 inline 8-bit counters): 16033 [0x7041769b88, 0x704176da29), 6 [0x60e00f4df0, 0x60e00f4df6),
INFO: Loaded 2 PC tables (16039 PCs): 16033 [0x704176da30,0x70417ac440), 6 [0x60e00f4df8,0x60e00f4e58),
INFO: -max_len is not provided; libFuzzer will not generate inputs larger than 4096 bytes
INFO: A corpus is not provided, starting from an empty corpus
#2	INITED cov: 5 ft: 5 corp: 1/1b exec/s: 0 rss: 24Mb
#10	NEW    cov: 6 ft: 6 corp: 2/4b lim: 4 exec/s: 0 rss: 24Mb L: 3/3 MS: 3 CopyPart-ChangeByte-InsertByte-
#712	NEW    cov: 7 ft: 7 corp: 3/9b lim: 8 exec/s: 0 rss: 24Mb L: 5/5 MS: 2 InsertByte-InsertByte-
#744	REDUCE cov: 7 ft: 7 corp: 3/7b lim: 8 exec/s: 0 rss: 25Mb L: 3/3 MS: 2 ShuffleBytes-EraseBytes-
#990	REDUCE cov: 8 ft: 8 corp: 4/10b lim: 8 exec/s: 0 rss: 25Mb L: 3/3 MS: 1 ChangeByte-
==18631==ERROR: HWAddressSanitizer: tag-mismatch on address 0x0041e00b4183 at pc 0x0060e00c5144
READ of size 1 at 0x0041e00b4183 tags: f8/03 (ptr/mem) in thread T0
    #0 0x60e00c5140  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0xf140)
    #1 0x60e00ca130  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x14130)
    #2 0x60e00c9b8c  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x13b8c)
    #3 0x60e00cb188  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x15188)
    #4 0x60e00cbdec  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x15dec)
    #5 0x60e00d8fbc  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x22fbc)
    #6 0x60e00f0a98  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x3aa98)
    #7 0x7041b75d34  (/data/fuzz/arm64/lib/libc.so+0xa9d34)

[0x0041e00b4180,0x0041e00b41a0) is a small allocated heap chunk; size: 32 offset: 3
0x0041e00b4183 is located 0 bytes to the right of 3-byte region [0x0041e00b4180,0x0041e00b4183)
allocated here:
    #0 0x70418392bc  (/data/fuzz/arm64/lib/libclang_rt.hwasan-aarch64-android.so+0x212bc)
    #1 0x60e00ca040  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x14040)
    #2 0x60e00c9b8c  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x13b8c)
    #3 0x60e00cb188  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x15188)
    #4 0x60e00cbdec  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x15dec)
    #5 0x60e00d8fbc  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x22fbc)
    #6 0x60e00f0a98  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x3aa98)
    #7 0x7041b75d34  (/data/fuzz/arm64/lib/libc.so+0xa9d34)
    #8 0x60e00c504c  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0xf04c)
    #9 0x70431aa9c4  (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0x519c4)

Thread: T1 0x006700006000 stack: [0x007040c55000,0x007040d4ecc0) sz: 1023168 tls: [0x000000000000,0x000000000000)
Thread: T0 0x006700002000 stack: [0x007fe51f3000,0x007fe59f3000) sz: 8388608 tls: [0x000000000000,0x000000000000)
Memory tags around the buggy address (one tag corresponds to 16 bytes):
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   08  00  cf  08  dc  08  cd  08  b9  08  1a  1a  0b  00  04  3f
=> 27  00  08  00  bd  bd  2d  07 [03] 73  66  66  27  27  20  f6 <=
   5b  5b  87  87  03  00  01  00  4f  04  24  24  03  39  2c  2c
   05  00  04  00  be  be  85  85  04  00  4a  4a  05  05  5f  5f
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
   00  00  00  00  00  00  00  00  00  00  00  00  00  00  00  00
Tags for short granules around the buggy address (one tag corresponds to 16 bytes):
   04  ..  ..  cf  ..  dc  ..  cd  ..  b9  ..  ..  3f  ..  57  ..
=> ..  ..  21  ..  ..  ..  ..  2d [f8] ..  ..  ..  ..  ..  ..  .. <=
   ..  ..  ..  ..  9c  ..  e2  ..  ..  4f  ..  ..  99  ..  ..  ..
See https://clang.llvm.org/docs/HardwareAssistedAddressSanitizerDesign.html#short-granules for a description of short granule tags
Registers where the failure occurred (pc 0x0060e00c5144):
    x0  f8000041e00b4183  x1  000000000000005a  x2  0000000000000006  x3  000000704176d9c0
    x4  00000060e00f4df6  x5  0000000000000004  x6  0000000000000046  x7  000000000000005a
    x8  00000060e00f4df0  x9  0000006800000000  x10 0000000000000001  x11 00000060e0126a00
    x12 0000000000000001  x13 0000000000000231  x14 0000000000000000  x15 000e81434c909ede
    x16 0000007041838b14  x17 0000000000000003  x18 0000007042b80000  x19 f8000041e00b4180
    x20 0000006800000000  x21 000000000000005a  x22 24000056e00b4000  x23 00000060e00f5200
    x24 00000060e0128c88  x25 00000060e0128c20  x26 00000060e0128000  x27 00000060e0128000
    x28 0000007fe59f16e0  x29 0000007fe59f1400  x30 00000060e00c5144
SUMMARY: HWAddressSanitizer: tag-mismatch (/data/fuzz/arm64/example_fuzzer/example_fuzzer+0xf140)
MS: 1 ChangeByte-; base unit: e09f9c158989c56012ccd88111b82f778a816eae
0x46,0x55,0x5a,
FUZ
artifact_prefix='./'; Test unit written to ./crash-0eb8e4ed029b774d80f2b66408203801cb982a60
Base64: RlVa

    ในตัวอย่างเอาต์พุตนี้ ข้อขัดข้องเกิดจาก fuzz_me_fuzzer.cpp ที่บรรทัด 10

          data[3] == 'Z';  // :(

    นี่เป็นการอ่านที่อยู่นอกขอบเขตอย่างตรงไปตรงมาหาก data มีความยาว 3

    หลังจากเรียกใช้โปรแกรมสร้างข้อมูลเท็จแล้ว เอาต์พุตมักจะส่งผลให้เกิดข้อขัดข้องและระบบจะบันทึกอินพุตที่ทำให้เกิดข้อขัดข้องในชุดข้อมูลและให้รหัส ในตัวอย่างเอาต์พุต รายการนี้คือ crash-0eb8e4ed029b774d80f2b66408203801cb982a60

    หากต้องการเรียกข้อมูลข้อขัดข้องเมื่อทำการทดสอบการใช้ภาษาที่ไม่ถูกต้องในอุปกรณ์ ให้ใช้คำสั่งนี้โดยระบุรหัสข้อขัดข้อง

    adb pull /data/fuzz/arm64/fuzz_me_fuzzer/corpus/CRASH_ID
     โปรดทราบว่าหากต้องการให้บันทึกชุดทดสอบไปยังไดเรกทอรีที่ถูกต้อง คุณสามารถใช้โฟลเดอร์ "corpus" (ดังตัวอย่างด้านบน) หรือใช้อาร์กิวเมนต์ artifact_prefix (เช่น `-artifact_prefix=/data/fuzz/where/my/crashes/go`)

    เมื่อทำการทดสอบแบบ Fuzzing ในโฮสต์ ข้อมูลข้อขัดข้องจะปรากฏในโฟลเดอร์ข้อขัดข้องในโฟลเดอร์ในเครื่องที่กําลังเรียกใช้โปรแกรมทดสอบแบบ Fuzzing

    สร้างการครอบคลุมบรรทัด

    การครอบคลุมบรรทัดมีประโยชน์อย่างยิ่งสำหรับนักพัฒนาซอฟต์แวร์ เนื่องจากสามารถระบุพื้นที่ในโค้ดที่ไม่ได้ครอบคลุมและอัปเดตโปรแกรมตรวจหาช่องโหว่ให้ตรงกับพื้นที่เหล่านั้นในการเรียกใช้การตรวจหาช่องโหว่ในอนาคต

    1. หากต้องการสร้างรายงานการครอบคลุมของ Fuzzer ให้ทําตามขั้นตอนต่อไปนี้ 
      CLANG_COVERAGE=true NATIVE_COVERAGE_PATHS='*' make ${FUZZER_NAME}

    2. หลังจากพุชโปรแกรมตรวจหาข้อบกพร่องและไลบรารีที่เกี่ยวข้องไปยังอุปกรณ์แล้ว ให้เรียกใช้เป้าหมายการตรวจหาข้อบกพร่องด้วย LLVM_PROFILE_FILE ดังนี้ 
      DEVICE_TRACE_PATH=/data/fuzz/$(get_build_var TARGET_ARCH)/${FUZZER_NAME}/data.profraw
adb shell LLVM_PROFILE_FILE=${DEVICE_TRACE_PATH} /data/fuzz/$(get_build_var TARGET_ARCH)/${FUZZER_NAME}/${FUZZER_NAME} -runs=1000

    3. สร้างรายงานการครอบคลุมโดยดึงไฟล์ profraw ออกจากอุปกรณ์ก่อน จากนั้นสร้างรายงาน HTML ไปยังโฟลเดอร์ชื่อ coverage-html ดังที่แสดงด้านล่าง 
      adb pull ${DEVICE_TRACE_PATH} data.profraw
llvm-profdata merge --sparse data.profraw --output data.profdata
llvm-cov show --format=html --instr-profile=data.profdata \
  symbols/data/fuzz/$(get_build_var TARGET_ARCH)/${FUZZER_NAME}/${FUZZER_NAME} \
  --output-dir=coverage-html --path-equivalence=/proc/self/cwd/,$ANDROID_BUILD_TOP

    ดูข้อมูลเพิ่มเติมเกี่ยวกับ libFuzzer ได้ที่เอกสารประกอบของ upstream