IBS Memory Analysis ═══════════════════ Image │ Function │ Total Cycles ▼ │ Load Latency │ L1 TLB Latency │ DC Miss Latency │ Outstanding Reqs. ──────────┼───────────────────────────────────────┼────────────────┼───────────────┼─────────────────┼──────────────────┼─────────────────── kernel │ trash_ctor+0x20 │ 20424 │ 38 │ 7 │ 0 │ 0 kernel │ pagecopy+0x12 │ 11070 │ 738 │ 597 │ 0 │ 24 kernel │ pmap_pvh_remove+0x10 │ 6569 │ 6569 │ 47 │ 0 │ 1 kernel │ witness_checkorder:1364 │ 5932 │ 296 │ 123 │ 0 │ 0 kernel │ witness_unlock:1942 │ 5022 │ 200 │ 21 │ 0 │ 0 kernel │ _isitmyx:2379 │ 4358 │ 256 │ 43 │ 0 │ 0 kernel │ _isitmyx+0x36 │ 4076 │ 271 │ 162 │ 0 │ 0 kernel │ vm_phys_alloc_npages:420 │ 4026 │ 4026 │ 495 │ 0 │ 1 kernel │ counter_u64_fetch+0x52 │ 3680 │ 147 │ 51 │ 1 │ 13 kernel │ mtrash_ctor+0x40 │ 3651 │ 280 │ 175 │ 0 │ 1 kernel │ witness_lock:1791 │ 3183 │ 138 │ 22 │ 0 │ 0 kernel │ __mtx_lock_flags:184 │ 2903 │ 414 │ 96 │ 0 │ 0 kernel │ pmap_pvh_remove+0x23 │ 2640 │ 2640 │ 41 │ 0 │ 1 kernel │ witness_checkorder+0x2e8 │ 2536 │ 181 │ 48 │ 0 │ 0 kernel │ bdwrite:2485 │ 2278 │ 1139 │ 304 │ 0 │ 3 kernel │ _isitmyx:2383 │ 2277 │ 284 │ 132 │ 0 │ 0 kernel │ copyout_smap_erms+0x196 │ 2258 │ 564 │ 318 │ 0 │ 23 kernel │ cpu_search_highest:833 │ 2157 │ 143 │ 21 │ 0 │ 2 kernel │ __mtx_lock_spin_flags:352 │ 2154 │ 430 │ 286 │ 0 │ 0 kernel │ vm_reserv_from_object:526 │ 1946 │ 973 │ 81 │ 7 │ 2 hwpmc.ko │ pmclog_process_callchain+0x9f │ 1927 │ 137 │ 67 │ 0 │ 1 kernel │ __mtx_lock_spin_flags+0x15 │ 1730 │ 346 │ 235 │ 0 │ 1 kernel │ sleepq_resume_thread:763 │ 1706 │ 1706 │ 642 │ 0 │ 1 kernel │ devstat_end_transaction:367 │ 1684 │ 842 │ 367 │ 0 │ 3 kernel │ witness_checkorder:3387 │ 1670 │ 167 │ 126 │ 0 │ 0 kernel │ vnode_init:701 │ 1656 │ 1656 │ 479 │ 0 │ 1 kernel │ vm_map_pmap_enter:2744 │ 1652 │ 826 │ 277 │ 0 │ 0 kernel │ cache_ncp_find+0x79 │ 1628 │ 45 │ 5 │ 0 │ 0 hwpmc.ko │ pmclog_process_callchain+0x94 │ 1603 │ 145 │ 77 │ 0 │ 4 kernel │ witness_checkorder:3387 │ 1595 │ 177 │ 9 │ 0 │ 0 kernel │ vm_map_pmap_enter:2759 │ 1526 │ 305 │ 9 │ 0 │ 1 kernel │ ufs_stat:561 │ 1511 │ 1511 │ 697 │ 0 │ 2 kernel │ prison_allow+0x4 │ 1487 │ 1487 │ 12 │ 0 │ 4 kernel │ vm_page_ps_test:5831 │ 1487 │ 1487 │ 1455 │ 0 │ 6 kernel │ get_pv_entry:5559 │ 1474 │ 1474 │ 102 │ 0 │ 7 kernel │ bd_flush+0xbb │ 1373 │ 1373 │ 661 │ 0 │ 3 kernel │ setrunnable:552 │ 1341 │ 1341 │ 655 │ 0 │ 6 kernel │ setrunnable+0x78 │ 1328 │ 1328 │ 654 │ 0 │ 6 kernel │ __mtx_lock_spin_flags+0x8f │ 1261 │ 210 │ 166 │ 0 │ 0 kernel │ tcp_xmit_timer+0x121 │ 1232 │ 1232 │ 51 │ 0 │ 2 kernel │ cache_ncp_find:623 │ 1214 │ 37 │ 6 │ 0 │ 0 kernel │ vn_need_pageq_flush+0x3 │ 1211 │ 302 │ 199 │ 0 │ 0 kernel │ tdq_runq_add:505 │ 1183 │ 1183 │ 1171 │ 0 │ 1 kernel │ pctrie_lookup_unlocked:111 │ 1117 │ 558 │ 5 │ 3 │ 1 kernel │ pctrie_iter_lookup_ge+0xac │ 1113 │ 139 │ 13 │ 0 │ 0 kernel │ pctrie_iter_lookup_ge:725 │ 1067 │ 177 │ 128 │ 0 │ 0 kernel │ invlop_handler:1082 │ 1025 │ 256 │ 157 │ 0 │ 0 kernel │ bdwrite+0x142 │ 1013 │ 1013 │ 9 │ 0 │ 5 kernel │ sse42_crc32c:339 │ 942 │ 471 │ 404 │ 46 │ 5 kernel │ cache_fplookup:6319 │ 931 │ 51 │ 11 │ 0 │ 0 if_ure.ko │ ure_bulk_write_callback:842 │ 909 │ 909 │ 11 │ 0 │ 1 kernel │ __mtx_lock_flags+0x56 │ 904 │ 75 │ 22 │ 0 │ 0 kernel │ witness_lock_order_add+0x3a │ 893 │ 223 │ 47 │ 0 │ 0 kernel │ ffs_verify_dinode_ckhash+0x18 │ 881 │ 881 │ 850 │ 7 │ 2 kernel │ __mtx_unlock_spin_flags:414 │ 862 │ 431 │ 30 │ 0 │ 0 kernel │ pctrie_iter_lookup_ge:104 │ 855 │ 171 │ 138 │ 0 │ 0 kernel │ vlazy:3466 │ 840 │ 840 │ 158 │ 0 │ 2 kernel │ sse42_crc32c:339 │ 825 │ 825 │ 777 │ 7 │ 2 kernel │ __mtx_lock_spin_flags+0x26 │ 813 │ 406 │ 351 │ 0 │ 1 kernel │ vm_page_alloc_check+0xe │ 807 │ 807 │ 782 │ 0 │ 1 kernel │ sse42_crc32c:335 │ 804 │ 804 │ 84 │ 8 │ 6 kernel │ sleepq_add:374 │ 787 │ 787 │ 702 │ 0 │ 1 kernel │ witness_destroy+0x48 │ 752 │ 752 │ 707 │ 0 │ 1 kernel │ vm_page_alloc_check+0x48 │ 750 │ 375 │ 362 │ 0 │ 0 kernel │ vdbatch_process:3899 │ 740 │ 740 │ 11 │ 0 │ 8 kernel │ ufs_stat:555 │ 735 │ 735 │ 643 │ 0 │ 2 kernel │ vm_pqbatch_process_page:3856 │ 729 │ 243 │ 6 │ 0 │ 1 kernel │ ufs_stat:557 │ 717 │ 717 │ 657 │ 0 │ 1 kernel │ sleepq_add:363 │ 706 │ 706 │ 69 │ 0 │ 1 kernel │ vget_finish+0x10 │ 672 │ 224 │ 39 │ 0 │ 1 kernel │ vm_object_mightbedirty:605 │ 671 │ 671 │ 11 │ 0 │ 1 kernel │ sse42_crc32c+0x2c8 │ 668 │ 668 │ 15 │ 0 │ 7 kernel │ proc_realparent+0x2f │ 667 │ 667 │ 655 │ 0 │ 1 kernel │ sched_pickcpu+0x5c │ 665 │ 665 │ 11 │ 0 │ 2 kernel │ sleepq_remove_thread:832 │ 664 │ 664 │ 652 │ 0 │ 5 kernel │ _vm_domain_allocate+0x2b │ 658 │ 658 │ 555 │ 0 │ 1 kernel │ g_vfs_strategy:193 │ 655 │ 655 │ 54 │ 7 │ 2 hwpmc.ko │ soft_get_config:194 │ 654 │ 654 │ 554 │ 0 │ 2 kernel │ ffs_lock:511 │ 651 │ 325 │ 274 │ 0 │ 0 kernel │ pmap_pdpe:1518 │ 651 │ 651 │ 11 │ 0 │ 1 kernel │ witness_checkorder+0x26b │ 617 │ 56 │ 7 │ 0 │ 0 kernel │ usbd_callback_wrapper+0x3e7 │ 612 │ 612 │ 560 │ 0 │ 3 kernel │ cache_fplookup_final_child:4802 │ 581 │ 290 │ 77 │ 0 │ 1 kernel │ _nvme_qpair_submit_request+0x115 │ 570 │ 570 │ 11 │ 0 │ 7 kernel │ sched_ule_idletd+0x3dd │ 568 │ 568 │ 15 │ 0 │ 6 kernel │ cpu_search_lowest:778 │ 564 │ 564 │ 19 │ 0 │ 4 kernel │ sched_ule_idletd+0x477 │ 556 │ 556 │ 14 │ 0 │ 8 kernel │ ufs_need_inactive:73 │ 546 │ 546 │ 11 │ 0 │ 4 kernel │ bd_flush:1993 │ 546 │ 546 │ 37 │ 0 │ 7 kernel │ fget_unlocked_flags:3562 │ 544 │ 272 │ 6 │ 0 │ 1 kernel │ msi_vector:246 │ 535 │ 535 │ 12 │ 0 │ 5 kernel │ intr_event_handle+0x11 │ 494 │ 494 │ 11 │ 0 │ 3 kernel │ pctrie_lookup_unlocked+0x73 │ 428 │ 85 │ 43 │ 0 │ 1 kernel │ _rw_runlock_cookie_int:861 │ 425 │ 141 │ 35 │ 0 │ 0 kernel │ _mtx_lock_spin_cookie:796 │ 422 │ 422 │ 409 │ 0 │ 0 kernel │ fpurestore_xrstor3264:95 │ 386 │ 77 │ 37 │ 0 │ 0 kernel │ vm_page_busy_acquire+0x11 │ 379 │ 379 │ 144 │ 0 │ 13 kernel │ _rw_wlock_cookie+0x42 │ 359 │ 51 │ 11 │ 1 │ 0 kernel │ pctrie_lookup_unlocked+0xd8 │ 310 │ 103 │ 32 │ 0 │ 2 kernel │ umtxq_signal_queue+0xba │ 307 │ 307 │ 156 │ 0 │ 0 kernel │ fpu_activate_sw:822 │ 306 │ 153 │ 34 │ 0 │ 2 kernel │ pctrie_iter_lookup_ge+0x3c │ 282 │ 56 │ 7 │ 0 │ 0 kernel │ _vn_lock:2036 │ 276 │ 92 │ 35 │ 0 │ 1 kernel │ vm_map_pmap_enter+0x1e4 │ 237 │ 59 │ 13 │ 0 │ 0 kernel │ sched_ule_idletd:3138 │ 235 │ 58 │ 6 │ 0 │ 1 hwpmc.ko │ pmc_process_samples:621 │ 228 │ 114 │ 26 │ 0 │ 0 kernel │ devstat_end_transaction:367 │ 206 │ 206 │ 103 │ 0 │ 2 kernel │ item_ctor:414 │ 199 │ 33 │ 9 │ 0 │ 1 kernel │ ufs_readdir:2460 │ 199 │ 99 │ 29 │ 42 │ 0 kernel │ runq_remove+0x14 │ 197 │ 197 │ 109 │ 7 │ 1 kernel │ sched_ule_runnable:2786 │ 169 │ 84 │ 5 │ 0 │ 0 kernel │ vm_page_ps_test:5814 │ 168 │ 168 │ 154 │ 0 │ 23 kernel │ g_io_request+0x2dc │ 168 │ 168 │ 11 │ 0 │ 3 kernel │ vm_page_busy_acquire:183 │ 165 │ 165 │ 59 │ 11 │ 0 kernel │ vdbatch_process:3901 │ 163 │ 163 │ 12 │ 0 │ 4 kernel │ vn_alloc:1628 │ 160 │ 80 │ 5 │ 0 │ 0 kernel │ pctrie_lookup_unlocked:125 │ 156 │ 52 │ 11 │ 0 │ 1 kernel │ __mtx_unlock_spin_flags:425 │ 152 │ 76 │ 41 │ 0 │ 0 kernel │ pctrie_lookup_unlocked:280 │ 146 │ 146 │ 11 │ 7 │ 2 kernel │ pmap_is_modified:8782 │ 141 │ 70 │ 6 │ 0 │ 0 hwpmc.ko │ pmc_process_samples:92 │ 140 │ 140 │ 75 │ 0 │ 1 kernel │ callout_process:476 │ 137 │ 68 │ 48 │ 0 │ 2 kernel │ ffs_lock:512 │ 129 │ 64 │ 35 │ 0 │ 0 kernel │ vm_domainset_iter_phase_first+0x14 │ 124 │ 62 │ 20 │ 3 │ 0 kernel │ sse42_crc32c:339 │ 116 │ 116 │ 9 │ 0 │ 6 kernel │ smp_targeted_tlb_shootdown_native:670 │ 115 │ 115 │ 97 │ 0 │ 0 kernel │ microtime+0x3a │ 113 │ 113 │ 76 │ 0 │ 3 kernel │ _lockmgr_assert+0x22 │ 112 │ 112 │ 15 │ 0 │ 12 kernel │ pmap_activate_sw_nopcid_nopti+0x4 │ 110 │ 110 │ 87 │ 0 │ 0 kernel │ pctrie_lookup_unlocked+0x39 │ 109 │ 54 │ 11 │ 0 │ 2 kernel │ ufs_lookup_ino:231 │ 107 │ 53 │ 5 │ 0 │ 3 kernel │ pmap_is_prefaultable:8811 │ 104 │ 52 │ 5 │ 0 │ 0 kernel │ arc4rand+0x6e │ 98 │ 98 │ 11 │ 7 │ 3 kernel │ trap:92 │ 98 │ 98 │ 56 │ 7 │ 6 kernel │ _fdrop:3941 │ 97 │ 97 │ 13 │ 0 │ 1 kernel │ VOP_GETPAGES_APV:2785 │ 96 │ 96 │ 13 │ 0 │ 1 kernel │ lockmgr_xlock_hard:184 │ 96 │ 48 │ 23 │ 0 │ 1 kernel │ sched_ule_sswitch:2378 │ 94 │ 47 │ 6 │ 0 │ 0 hwpmc.ko │ soft_get_config:194 │ 89 │ 44 │ 8 │ 0 │ 0 kernel │ trap:468 │ 87 │ 43 │ 12 │ 0 │ 0 kernel │ sched_ule_idletd:3175 │ 87 │ 29 │ 17 │ 0 │ 0 kernel │ vm_fault_allocate+0x89 │ 86 │ 43 │ 5 │ 0 │ 0 kernel │ amd64_syscall:146 │ 83 │ 41 │ 6 │ 0 │ 0 kernel │ vm_fault+0xb98 │ 82 │ 82 │ 11 │ 0 │ 1 kernel │ ffs_vgetf:1811 │ 80 │ 80 │ 11 │ 0 │ 6 kernel │ cache_fplookup_symlink+0x8f │ 74 │ 37 │ 9 │ 0 │ 0 kernel │ vm_page_alloc_check+0x26 │ 71 │ 35 │ 10 │ 0 │ 0 kernel │ vfs_cache_root:194 │ 67 │ 67 │ 13 │ 0 │ 0 kernel │ sched_pickcpu+0x170 │ 66 │ 66 │ 11 │ 0 │ 2 kernel │ sched_ule_clock:2707 │ 65 │ 65 │ 50 │ 0 │ 2 kernel │ acpi_cpu_idle:1237 │ 65 │ 65 │ 36 │ 0 │ 1 kernel │ hardclock+0x35 │ 63 │ 63 │ 42 │ 0 │ 3 kernel │ trap:408 │ 62 │ 31 │ 5 │ 3 │ 0 kernel │ vm_page_insert_radixdone:1580 │ 62 │ 62 │ 8 │ 0 │ 1 kernel │ ufs_lookup_ino:449 │ 61 │ 30 │ 6 │ 4 │ 2 kernel │ _pctrie_lookup_le+0x88 │ 59 │ 29 │ 5 │ 3 │ 1 kernel │ vm_page_alloc_domain_iter:773 │ 56 │ 56 │ 37 │ 7 │ 1 kernel │ sleepq_resume_thread+0x2d │ 55 │ 55 │ 11 │ 7 │ 0 kernel │ vm_fault_lock_vnode:39 │ 55 │ 55 │ 11 │ 0 │ 3 kernel │ lapic_et_start:1178 │ 55 │ 55 │ 11 │ 0 │ 0 kernel │ trap_pfault:920 │ 54 │ 27 │ 5 │ 0 │ 1 kernel │ ufs_lookup_ino+0xb44 │ 53 │ 26 │ 5 │ 0 │ 0 kernel │ ffs_vgetf:1811 │ 51 │ 51 │ 10 │ 0 │ 2 kernel │ vm_fault:1699 │ 51 │ 25 │ 5 │ 0 │ 2 kernel │ dev2udev+0x9 │ 50 │ 50 │ 11 │ 0 │ 3 kernel │ g_io_request+0x129 │ 49 │ 49 │ 11 │ 0 │ 1 kernel │ intr_event_schedule_thread+0x1cf │ 46 │ 46 │ 14 │ 0 │ 3 kernel │ vm_page_alloc_check:2727 │ 42 │ 42 │ 11 │ 0 │ 0 kernel │ pagezero_erms+0xb │ 42 │ 21 │ 3835 │ 0 │ 1 kernel │ vm_page_alloc_check:2721 │ 39 │ 39 │ 12 │ 0 │ 0 kernel │ cache_fpl_handled_impl+0xf │ 36 │ 36 │ 13 │ 0 │ 2 kernel │ cpu_idleclock+0x4a │ 36 │ 36 │ 11 │ 0 │ 0 kernel │ sched_pickcpu+0xfe │ 35 │ 35 │ 11 │ 0 │ 0 kernel │ ufs_stat+0x11a │ 33 │ 33 │ 9 │ 0 │ 2 kernel │ cache_free+0x174 │ 33 │ 33 │ 11 │ 0 │ 1 kernel │ lockmgr_xlock_hard+0x128 │ 32 │ 16 │ 5 │ 0 │ 0 kernel │ ufs_open+0x26 │ 31 │ 31 │ 13 │ 0 │ 0 kernel │ zone_import:4148 │ 31 │ 31 │ 9 │ 0 │ 1 kernel │ cache_fplookup+0x1c3 │ 31 │ 31 │ 10 │ 0 │ 1 kernel │ trap:405 │ 30 │ 30 │ 13 │ 0 │ 6 kernel │ Xinvlop+0x80 │ 29 │ 29 │ 17 │ 0 │ 0 kernel │ sys_read+0x22 │ 28 │ 28 │ 11 │ 0 │ 0 kernel │ mac_vnode_check_readdir+0x69 │ 27 │ 27 │ 10 │ 0 │ 1 kernel │ sched_ule_sswitch:2426 │ 26 │ 26 │ 11 │ 0 │ 0 kernel │ binsfree+0xd6 │ 26 │ 26 │ 11 │ 0 │ 1 kernel │ cpu_idle:739 │ 25 │ 25 │ 11 │ 0 │ 0 kernel │ trap_is_pti:760 │ 25 │ 25 │ 11 │ 0 │ 9 kernel │ vm_map_lookup_entry:1137 │ 24 │ 24 │ 11 │ 0 │ 0 kernel │ g_io_request:505 │ 24 │ 24 │ 11 │ 0 │ 1 kernel │ acpi_cpu_idle_mwait:419 │ 24 │ 24 │ 11 │ 0 │ 0 kernel │ cpu_switch+0x1e9 │ 23 │ 23 │ 11 │ 0 │ 1 kernel │ cache_alloc:439 │ 23 │ 23 │ 11 │ 0 │ 1 kernel │ _falloc_noinstall+0x28 │ 21 │ 21 │ 11 │ 0 │ 0 kernel │ free+0xe │ 21 │ 21 │ 11 │ 0 │ 2 TLB Refill Latency ────────────────── 13k ┌────────────────────────────────────────────────────────────────────────┐ │⡇ │ │⡇ │ │⡇ │ F │⡇ │ r │⡇ │ e │⡇ │ q │⡇ │ u │⡇ │ e │⡇ │ n │⡇ │ c │⡇ │ y │⡇ │ │⡇ ⢠ │ L │⡇ ⢸ │ o │⡇ ⢸ │ g │⡇ ⢸ │ │⡇ ⢸⢰ │ │⡇ ⢸⢸ │ │⡇ ⢸⢸ │ │⡇ ⢸⢸ │ 0 └────────────────────────────────────────────────────────────────────────┘ 0 Latency (Cycles) 85 DC Miss Latency ─────────────── 13k ┌────────────────────────────────────────────────────────────────────────┐ │⡇ │ │⡇ │ │⡇ │ F │⡇ │ r │⡇ │ e │⡇ │ q │⡇ │ u │⡇ │ e │⡇ │ n │⡇ │ c │⡇ │ y │⡇ │ │⣿ │ L │⣿⣷ │ o │⣿⣿ │ g │⣿⣿⢠ ⣀ ⡇ │ │⣿⣿⢸ ⢸⣿ ⡇⡀⡆ │ │⣿⣿⢸ ⢸⣿⢀⣇⣇⣇ │ │⣿⣿⣿ ⢀ ⢸⣿⢸⣿⣿⣿⢀ ⡀ │ │⣿⣿⣿ ⢸ ⣿⣿⣿⣿⣿⣿⢸ ⡇ │ 0 └────────────────────────────────────────────────────────────────────────┘ 0 Latency (Cycles) 4187 Open Memory Requests ──────────────────── 13k ┌────────────────────────────────────────────────────────────────────────┐ │⡇ │ │⡇ │ │⡇ │ F │⡇ │ r │⡇ │ e │⡇ │ q │⡇ │ u │⡇ │ e │⡇ │ n │⡇ │ c │⡇⡇ │ y │⡇⡇⢠ │ │⡇⡇⢸ ⡄ │ L │⡇⡇⢸ ⡇⡆ │ o │⡇⡇⢸ ⡇⡇⢠ ⡇ │ g │⡇⡇⢸ ⡇⡇⢸ ⡇⡀ │ │⡇⡇⢸ ⡇⡇⢸ ⡇⡇⢸ ⡆ ⢀ │ │⡇⡇⢸ ⡇⡇⢸ ⡇⡇⢸ ⡇ ⡆ ⢀ ⢰ ⢰ ⢸ │ │⡇⡇⢸ ⡇⡇⢸ ⡇⡇⢸ ⡇⡀ ⡇ ⢸ ⡀ ⢸ ⡀⢸ ⡀ ⢸ │ │⡇⡇⢸ ⡇⡇⢸ ⡇⡇⢸ ⡇⡇ ⡇ ⢸ ⡇ ⢸ ⡇⢸ ⡇ ⢸ │ 0 └────────────────────────────────────────────────────────────────────────┘ 0 Open Requests 54