#include <linux/ieee80211.h>
#include <linux/kernel.h>
#include <linux/skbuff.h>
#include <crypto/hash.h>
#include "core.h"
#include "debug.h"
#include "debugfs_htt_stats.h"
#include "debugfs_sta.h"
#include "hal_desc.h"
#include "hw.h"
#include "dp_rx.h"
#include "hal_rx.h"
#include "dp_tx.h"
#include "peer.h"
#define ATH11K_DP_RX_FRAGMENT_TIMEOUT_MS …
static inline
u8 *ath11k_dp_rx_h_80211_hdr(struct ath11k_base *ab, struct hal_rx_desc *desc)
{ … }
static inline
enum hal_encrypt_type ath11k_dp_rx_h_mpdu_start_enctype(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_decap_type(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline
bool ath11k_dp_rx_h_msdu_start_ldpc_support(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline
u8 ath11k_dp_rx_h_msdu_start_mesh_ctl_present(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline
bool ath11k_dp_rx_h_mpdu_start_seq_ctrl_valid(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline bool ath11k_dp_rx_h_mpdu_start_fc_valid(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline bool ath11k_dp_rx_h_mpdu_start_more_frags(struct ath11k_base *ab,
struct sk_buff *skb)
{ … }
static inline u16 ath11k_dp_rx_h_mpdu_start_frag_no(struct ath11k_base *ab,
struct sk_buff *skb)
{ … }
static inline u16 ath11k_dp_rx_h_mpdu_start_seq_no(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline void *ath11k_dp_rx_get_attention(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline bool ath11k_dp_rx_h_attn_msdu_done(struct rx_attention *attn)
{ … }
static inline bool ath11k_dp_rx_h_attn_l4_cksum_fail(struct rx_attention *attn)
{ … }
static inline bool ath11k_dp_rx_h_attn_ip_cksum_fail(struct rx_attention *attn)
{ … }
static inline bool ath11k_dp_rx_h_attn_is_decrypted(struct rx_attention *attn)
{ … }
static u32 ath11k_dp_rx_h_attn_mpdu_err(struct rx_attention *attn)
{ … }
static bool ath11k_dp_rx_h_attn_msdu_len_err(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u16 ath11k_dp_rx_h_msdu_start_msdu_len(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_sgi(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_rate_mcs(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_rx_bw(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u32 ath11k_dp_rx_h_msdu_start_freq(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_pkt_type(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_start_nss(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_mpdu_start_tid(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u16 ath11k_dp_rx_h_mpdu_start_peer_id(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline u8 ath11k_dp_rx_h_msdu_end_l3pad(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static inline bool ath11k_dp_rx_h_msdu_end_first_msdu(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static bool ath11k_dp_rx_h_msdu_end_last_msdu(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static void ath11k_dp_rx_desc_end_tlv_copy(struct ath11k_base *ab,
struct hal_rx_desc *fdesc,
struct hal_rx_desc *ldesc)
{ … }
static inline u32 ath11k_dp_rxdesc_get_mpdulen_err(struct rx_attention *attn)
{ … }
static inline u8 *ath11k_dp_rxdesc_get_80211hdr(struct ath11k_base *ab,
struct hal_rx_desc *rx_desc)
{ … }
static inline bool ath11k_dp_rxdesc_mpdu_valid(struct ath11k_base *ab,
struct hal_rx_desc *rx_desc)
{ … }
static inline u32 ath11k_dp_rxdesc_get_ppduid(struct ath11k_base *ab,
struct hal_rx_desc *rx_desc)
{ … }
static inline void ath11k_dp_rxdesc_set_msdu_len(struct ath11k_base *ab,
struct hal_rx_desc *desc,
u16 len)
{ … }
static bool ath11k_dp_rx_h_attn_is_mcbc(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static bool ath11k_dp_rxdesc_mac_addr2_valid(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static u8 *ath11k_dp_rxdesc_mpdu_start_addr2(struct ath11k_base *ab,
struct hal_rx_desc *desc)
{ … }
static void ath11k_dp_service_mon_ring(struct timer_list *t)
{ … }
static int ath11k_dp_purge_mon_ring(struct ath11k_base *ab)
{ … }
int ath11k_dp_rxbufs_replenish(struct ath11k_base *ab, int mac_id,
struct dp_rxdma_ring *rx_ring,
int req_entries,
enum hal_rx_buf_return_buf_manager mgr)
{ … }
static int ath11k_dp_rxdma_buf_ring_free(struct ath11k *ar,
struct dp_rxdma_ring *rx_ring)
{ … }
static int ath11k_dp_rxdma_pdev_buf_free(struct ath11k *ar)
{ … }
static int ath11k_dp_rxdma_ring_buf_setup(struct ath11k *ar,
struct dp_rxdma_ring *rx_ring,
u32 ringtype)
{ … }
static int ath11k_dp_rxdma_pdev_buf_setup(struct ath11k *ar)
{ … }
static void ath11k_dp_rx_pdev_srng_free(struct ath11k *ar)
{ … }
void ath11k_dp_pdev_reo_cleanup(struct ath11k_base *ab)
{ … }
int ath11k_dp_pdev_reo_setup(struct ath11k_base *ab)
{ … }
static int ath11k_dp_rx_pdev_srng_alloc(struct ath11k *ar)
{ … }
void ath11k_dp_reo_cmd_list_cleanup(struct ath11k_base *ab)
{ … }
static void ath11k_dp_reo_cmd_free(struct ath11k_dp *dp, void *ctx,
enum hal_reo_cmd_status status)
{ … }
static void ath11k_dp_reo_cache_flush(struct ath11k_base *ab,
struct dp_rx_tid *rx_tid)
{ … }
static void ath11k_dp_rx_tid_del_func(struct ath11k_dp *dp, void *ctx,
enum hal_reo_cmd_status status)
{ … }
void ath11k_peer_rx_tid_delete(struct ath11k *ar,
struct ath11k_peer *peer, u8 tid)
{ … }
static int ath11k_dp_rx_link_desc_return(struct ath11k_base *ab,
u32 *link_desc,
enum hal_wbm_rel_bm_act action)
{ … }
static void ath11k_dp_rx_frags_cleanup(struct dp_rx_tid *rx_tid, bool rel_link_desc)
{ … }
void ath11k_peer_frags_flush(struct ath11k *ar, struct ath11k_peer *peer)
{ … }
void ath11k_peer_rx_tid_cleanup(struct ath11k *ar, struct ath11k_peer *peer)
{ … }
static int ath11k_peer_rx_tid_reo_update(struct ath11k *ar,
struct ath11k_peer *peer,
struct dp_rx_tid *rx_tid,
u32 ba_win_sz, u16 ssn,
bool update_ssn)
{ … }
static void ath11k_dp_rx_tid_mem_free(struct ath11k_base *ab,
const u8 *peer_mac, int vdev_id, u8 tid)
{ … }
int ath11k_peer_rx_tid_setup(struct ath11k *ar, const u8 *peer_mac, int vdev_id,
u8 tid, u32 ba_win_sz, u16 ssn,
enum hal_pn_type pn_type)
{ … }
int ath11k_dp_rx_ampdu_start(struct ath11k *ar,
struct ieee80211_ampdu_params *params)
{ … }
int ath11k_dp_rx_ampdu_stop(struct ath11k *ar,
struct ieee80211_ampdu_params *params)
{ … }
int ath11k_dp_peer_rx_pn_replay_config(struct ath11k_vif *arvif,
const u8 *peer_addr,
enum set_key_cmd key_cmd,
struct ieee80211_key_conf *key)
{ … }
static inline int ath11k_get_ppdu_user_index(struct htt_ppdu_stats *ppdu_stats,
u16 peer_id)
{ … }
static int ath11k_htt_tlv_ppdu_stats_parse(struct ath11k_base *ab,
u16 tag, u16 len, const void *ptr,
void *data)
{ … }
int ath11k_dp_htt_tlv_iter(struct ath11k_base *ab, const void *ptr, size_t len,
int (*iter)(struct ath11k_base *ar, u16 tag, u16 len,
const void *ptr, void *data),
void *data)
{ … }
static void
ath11k_update_per_peer_tx_stats(struct ath11k *ar,
struct htt_ppdu_stats *ppdu_stats, u8 user)
{ … }
static void ath11k_htt_update_ppdu_stats(struct ath11k *ar,
struct htt_ppdu_stats *ppdu_stats)
{ … }
static
struct htt_ppdu_stats_info *ath11k_dp_htt_get_ppdu_desc(struct ath11k *ar,
u32 ppdu_id)
{ … }
static int ath11k_htt_pull_ppdu_stats(struct ath11k_base *ab,
struct sk_buff *skb)
{ … }
static void ath11k_htt_pktlog(struct ath11k_base *ab, struct sk_buff *skb)
{ … }
static void ath11k_htt_backpressure_event_handler(struct ath11k_base *ab,
struct sk_buff *skb)
{ … }
void ath11k_dp_htt_htc_t2h_msg_handler(struct ath11k_base *ab,
struct sk_buff *skb)
{ … }
static int ath11k_dp_rx_msdu_coalesce(struct ath11k *ar,
struct sk_buff_head *msdu_list,
struct sk_buff *first, struct sk_buff *last,
u8 l3pad_bytes, int msdu_len)
{ … }
static struct sk_buff *ath11k_dp_rx_get_msdu_last_buf(struct sk_buff_head *msdu_list,
struct sk_buff *first)
{ … }
static void ath11k_dp_rx_h_csum_offload(struct ath11k *ar, struct sk_buff *msdu)
{ … }
int ath11k_dp_rx_crypto_mic_len(struct ath11k *ar, enum hal_encrypt_type enctype)
{ … }
static int ath11k_dp_rx_crypto_param_len(struct ath11k *ar,
enum hal_encrypt_type enctype)
{ … }
static int ath11k_dp_rx_crypto_icv_len(struct ath11k *ar,
enum hal_encrypt_type enctype)
{ … }
static void ath11k_dp_rx_h_undecap_nwifi(struct ath11k *ar,
struct sk_buff *msdu,
u8 *first_hdr,
enum hal_encrypt_type enctype,
struct ieee80211_rx_status *status)
{ … }
static void ath11k_dp_rx_h_undecap_raw(struct ath11k *ar, struct sk_buff *msdu,
enum hal_encrypt_type enctype,
struct ieee80211_rx_status *status,
bool decrypted)
{ … }
static void *ath11k_dp_rx_h_find_rfc1042(struct ath11k *ar,
struct sk_buff *msdu,
enum hal_encrypt_type enctype)
{ … }
static void ath11k_dp_rx_h_undecap_eth(struct ath11k *ar,
struct sk_buff *msdu,
u8 *first_hdr,
enum hal_encrypt_type enctype,
struct ieee80211_rx_status *status)
{ … }
static void ath11k_dp_rx_h_undecap(struct ath11k *ar, struct sk_buff *msdu,
struct hal_rx_desc *rx_desc,
enum hal_encrypt_type enctype,
struct ieee80211_rx_status *status,
bool decrypted)
{ … }
static struct ath11k_peer *
ath11k_dp_rx_h_find_peer(struct ath11k_base *ab, struct sk_buff *msdu)
{ … }
static void ath11k_dp_rx_h_mpdu(struct ath11k *ar,
struct sk_buff *msdu,
struct hal_rx_desc *rx_desc,
struct ieee80211_rx_status *rx_status)
{ … }
static void ath11k_dp_rx_h_rate(struct ath11k *ar, struct hal_rx_desc *rx_desc,
struct ieee80211_rx_status *rx_status)
{ … }
static void ath11k_dp_rx_h_ppdu(struct ath11k *ar, struct hal_rx_desc *rx_desc,
struct ieee80211_rx_status *rx_status)
{ … }
static void ath11k_dp_rx_deliver_msdu(struct ath11k *ar, struct napi_struct *napi,
struct sk_buff *msdu,
struct ieee80211_rx_status *status)
{ … }
static int ath11k_dp_rx_process_msdu(struct ath11k *ar,
struct sk_buff *msdu,
struct sk_buff_head *msdu_list,
struct ieee80211_rx_status *rx_status)
{ … }
static void ath11k_dp_rx_process_received_packets(struct ath11k_base *ab,
struct napi_struct *napi,
struct sk_buff_head *msdu_list,
int mac_id)
{ … }
int ath11k_dp_process_rx(struct ath11k_base *ab, int ring_id,
struct napi_struct *napi, int budget)
{ … }
static void ath11k_dp_rx_update_peer_stats(struct ath11k_sta *arsta,
struct hal_rx_mon_ppdu_info *ppdu_info)
{ … }
static struct sk_buff *ath11k_dp_rx_alloc_mon_status_buf(struct ath11k_base *ab,
struct dp_rxdma_ring *rx_ring,
int *buf_id)
{ … }
int ath11k_dp_rx_mon_status_bufs_replenish(struct ath11k_base *ab, int mac_id,
struct dp_rxdma_ring *rx_ring,
int req_entries,
enum hal_rx_buf_return_buf_manager mgr)
{ … }
#define ATH11K_DP_RX_FULL_MON_PPDU_ID_WRAP …
static void
ath11k_dp_rx_mon_update_status_buf_state(struct ath11k_mon_data *pmon,
struct hal_tlv_hdr *tlv)
{ … }
static enum dp_mon_status_buf_state
ath11k_dp_rx_mon_buf_done(struct ath11k_base *ab, struct hal_srng *srng,
struct dp_rxdma_ring *rx_ring)
{ … }
static int ath11k_dp_rx_reap_mon_status_ring(struct ath11k_base *ab, int mac_id,
int *budget, struct sk_buff_head *skb_list)
{ … }
static void ath11k_dp_rx_frag_timer(struct timer_list *timer)
{ … }
int ath11k_peer_rx_frag_setup(struct ath11k *ar, const u8 *peer_mac, int vdev_id)
{ … }
static int ath11k_dp_rx_h_michael_mic(struct crypto_shash *tfm, u8 *key,
struct ieee80211_hdr *hdr, u8 *data,
size_t data_len, u8 *mic)
{ … }
static int ath11k_dp_rx_h_verify_tkip_mic(struct ath11k *ar, struct ath11k_peer *peer,
struct sk_buff *msdu)
{ … }
static void ath11k_dp_rx_h_undecap_frag(struct ath11k *ar, struct sk_buff *msdu,
enum hal_encrypt_type enctype, u32 flags)
{ … }
static int ath11k_dp_rx_h_defrag(struct ath11k *ar,
struct ath11k_peer *peer,
struct dp_rx_tid *rx_tid,
struct sk_buff **defrag_skb)
{ … }
static int ath11k_dp_rx_h_defrag_reo_reinject(struct ath11k *ar, struct dp_rx_tid *rx_tid,
struct sk_buff *defrag_skb)
{ … }
static int ath11k_dp_rx_h_cmp_frags(struct ath11k *ar,
struct sk_buff *a, struct sk_buff *b)
{ … }
static void ath11k_dp_rx_h_sort_frags(struct ath11k *ar,
struct sk_buff_head *frag_list,
struct sk_buff *cur_frag)
{ … }
static u64 ath11k_dp_rx_h_get_pn(struct ath11k *ar, struct sk_buff *skb)
{ … }
static bool
ath11k_dp_rx_h_defrag_validate_incr_pn(struct ath11k *ar, struct dp_rx_tid *rx_tid)
{ … }
static int ath11k_dp_rx_frag_h_mpdu(struct ath11k *ar,
struct sk_buff *msdu,
u32 *ring_desc)
{ … }
static int
ath11k_dp_process_rx_err_buf(struct ath11k *ar, u32 *ring_desc, int buf_id, bool drop)
{ … }
int ath11k_dp_process_rx_err(struct ath11k_base *ab, struct napi_struct *napi,
int budget)
{ … }
static void ath11k_dp_rx_null_q_desc_sg_drop(struct ath11k *ar,
int msdu_len,
struct sk_buff_head *msdu_list)
{ … }
static int ath11k_dp_rx_h_null_q_desc(struct ath11k *ar, struct sk_buff *msdu,
struct ieee80211_rx_status *status,
struct sk_buff_head *msdu_list)
{ … }
static bool ath11k_dp_rx_h_reo_err(struct ath11k *ar, struct sk_buff *msdu,
struct ieee80211_rx_status *status,
struct sk_buff_head *msdu_list)
{ … }
static void ath11k_dp_rx_h_tkip_mic_err(struct ath11k *ar, struct sk_buff *msdu,
struct ieee80211_rx_status *status)
{ … }
static bool ath11k_dp_rx_h_rxdma_err(struct ath11k *ar, struct sk_buff *msdu,
struct ieee80211_rx_status *status)
{ … }
static void ath11k_dp_rx_wbm_err(struct ath11k *ar,
struct napi_struct *napi,
struct sk_buff *msdu,
struct sk_buff_head *msdu_list)
{ … }
int ath11k_dp_rx_process_wbm_err(struct ath11k_base *ab,
struct napi_struct *napi, int budget)
{ … }
int ath11k_dp_process_rxdma_err(struct ath11k_base *ab, int mac_id, int budget)
{ … }
void ath11k_dp_process_reo_status(struct ath11k_base *ab)
{ … }
void ath11k_dp_rx_pdev_free(struct ath11k_base *ab, int mac_id)
{ … }
int ath11k_dp_rx_pdev_alloc(struct ath11k_base *ab, int mac_id)
{ … }
static void ath11k_dp_mon_set_frag_len(u32 *total_len, u32 *frag_len)
{ … }
static
int ath11k_dp_rx_monitor_link_desc_return(struct ath11k *ar,
void *p_last_buf_addr_info,
u8 mac_id)
{ … }
static
void ath11k_dp_rx_mon_next_link_desc_get(void *rx_msdu_link_desc,
dma_addr_t *paddr, u32 *sw_cookie,
u8 *rbm,
void **pp_buf_addr_info)
{ … }
static int ath11k_dp_pkt_set_pktlen(struct sk_buff *skb, u32 len)
{ … }
static void ath11k_hal_rx_msdu_list_get(struct ath11k *ar,
void *msdu_link_desc,
struct hal_rx_msdu_list *msdu_list,
u16 *num_msdus)
{ … }
static u32 ath11k_dp_rx_mon_comp_ppduid(u32 msdu_ppdu_id, u32 *ppdu_id,
u32 *rx_bufs_used)
{ … }
static void ath11k_dp_mon_get_buf_len(struct hal_rx_msdu_desc_info *info,
bool *is_frag, u32 *total_len,
u32 *frag_len, u32 *msdu_cnt)
{ … }
static u32
ath11k_dp_rx_mon_mpdu_pop(struct ath11k *ar, int mac_id,
void *ring_entry, struct sk_buff **head_msdu,
struct sk_buff **tail_msdu, u32 *npackets,
u32 *ppdu_id)
{ … }
static void ath11k_dp_rx_msdus_set_payload(struct ath11k *ar, struct sk_buff *msdu)
{ … }
static struct sk_buff *
ath11k_dp_rx_mon_merg_msdus(struct ath11k *ar,
u32 mac_id, struct sk_buff *head_msdu,
struct sk_buff *last_msdu,
struct ieee80211_rx_status *rxs, bool *fcs_err)
{ … }
static void
ath11k_dp_rx_update_radiotap_he(struct hal_rx_mon_ppdu_info *rx_status,
u8 *rtap_buf)
{ … }
static void
ath11k_dp_rx_update_radiotap_he_mu(struct hal_rx_mon_ppdu_info *rx_status,
u8 *rtap_buf)
{ … }
static void ath11k_update_radiotap(struct ath11k *ar,
struct hal_rx_mon_ppdu_info *ppduinfo,
struct sk_buff *mon_skb,
struct ieee80211_rx_status *rxs)
{ … }
static int ath11k_dp_rx_mon_deliver(struct ath11k *ar, u32 mac_id,
struct sk_buff *head_msdu,
struct hal_rx_mon_ppdu_info *ppduinfo,
struct sk_buff *tail_msdu,
struct napi_struct *napi)
{ … }
#define MON_DEST_RING_STUCK_MAX_CNT …
static void ath11k_dp_rx_mon_dest_process(struct ath11k *ar, int mac_id,
u32 quota, struct napi_struct *napi)
{ … }
int ath11k_dp_rx_process_mon_status(struct ath11k_base *ab, int mac_id,
struct napi_struct *napi, int budget)
{ … }
static u32
ath11k_dp_rx_full_mon_mpdu_pop(struct ath11k *ar,
void *ring_entry, struct sk_buff **head_msdu,
struct sk_buff **tail_msdu,
struct hal_sw_mon_ring_entries *sw_mon_entries)
{ … }
static int ath11k_dp_rx_full_mon_prepare_mpdu(struct ath11k_dp *dp,
struct dp_full_mon_mpdu *mon_mpdu,
struct sk_buff *head,
struct sk_buff *tail)
{ … }
static void ath11k_dp_rx_full_mon_drop_ppdu(struct ath11k_dp *dp,
struct dp_full_mon_mpdu *mon_mpdu)
{ … }
static int ath11k_dp_rx_full_mon_deliver_ppdu(struct ath11k *ar,
int mac_id,
struct ath11k_mon_data *pmon,
struct napi_struct *napi)
{ … }
static int
ath11k_dp_rx_process_full_mon_status_ring(struct ath11k_base *ab, int mac_id,
struct napi_struct *napi, int budget)
{ … }
static int ath11k_dp_full_mon_process_rx(struct ath11k_base *ab, int mac_id,
struct napi_struct *napi, int budget)
{ … }
int ath11k_dp_rx_process_mon_rings(struct ath11k_base *ab, int mac_id,
struct napi_struct *napi, int budget)
{ … }
static int ath11k_dp_rx_pdev_mon_status_attach(struct ath11k *ar)
{ … }
int ath11k_dp_rx_pdev_mon_attach(struct ath11k *ar)
{ … }
static int ath11k_dp_mon_link_free(struct ath11k *ar)
{ … }
int ath11k_dp_rx_pdev_mon_detach(struct ath11k *ar)
{ … }
int ath11k_dp_rx_pktlog_start(struct ath11k_base *ab)
{ … }
int ath11k_dp_rx_pktlog_stop(struct ath11k_base *ab, bool stop_timer)
{ … }