課程的實驗環境以下:
? 操作系統:kali Linux 2.0
? 編程工具:Wing IDE
? Python版本:2.7.9
? 觸及到的主要python模塊:pypcap,dpkt,scapy,scapy-http
觸及到的幾個python網絡抓包和分析的模塊,dpkt和scapy在kali linux 2.0 中默許已被安裝,如果你的系統中沒有需要手動安裝1下,下面是軟件包安裝的簡單說明。
在kali下安裝pypcap需要兩步(如果在其他系統上可能還需要安裝python-dev):
apt-get install libpcap-dev
pip install pypcap
使用pip安裝scapy。
root@kali:/home/pycharm# pip install scapy
使用pip安裝scapy-http。
root@kali:/home/pycharm# pip install scapy-http
基礎環境準備好以后,我還要再嘮叨1下你必須要掌握的基礎。
把編程掛上黑客的名義,多少有些標題黨。代碼怎樣寫,程序怎樣用,完全是技術問題。不會由于叫網絡編程就低人1等,叫黑客編程也不會變得神秘或高大上,代碼就在那里,不低微也不高尚。所以學習編程,要有顆平常心。
很多聽課的同學和我反應,網絡編程格外的費勁,繁瑣,要實現某種功能,如果Google不到類似的代碼就沒法下手。各種語言或框架針對網絡編程的實現基本都相同,由于我們接觸到網絡通訊都基于統1的規范和標準,語言和框架只是在用自己的方式去描寫這個規范而已。本質的問題來了,如果你連基本的網絡通訊的4層模型都不懂,對TCP/IP協議族毫無概念,那末我奉勸你先不要著急敲代碼,找本書,打開WireShark這樣的工具好好做做練習。
本次課程中的所有案例,其實都在遵守1個基本的思路(其他網絡通訊場景類似):
初始化以太網數據包對象à以太網數據包分離出ip數據包àIP數據包分離傳輸層數據包à傳輸層數據包分離利用層數據包。
只要我們具有基礎的網絡知識,結合程序中各個對象提供的字段就可以得到我們想要的任何基礎信息,在此基礎上做些信息處理就可以完成大部份網絡監聽和數據處理的任務。附上幾幅圖,如果這方面有欠缺的話,請立即去充電吧!
以太網幀格式
ip數據包格式
Tcp數據包格式
pypcap進行實時的數據包捕獲,使用上很簡單,我們先看1小段示例代碼:
import pcap
pc=pcap.pcap('wlan0') #注,參數可為網卡名,如eth0
pc.setfilter('tcp port 80') #2.設置監聽過濾器
for ptime,pdata in pc: #ptime為收到時間,pdata為收到數據
print ptime,pdata #...
在上面的代碼中,我們通過“import pcap”首先引入pypcap包,然后初始化1個pcap類實例,構造函數需要傳入1個網卡用來監聽,我們可以通過ifconfig獲得當前機器上的網卡。
pcap類的setfilter方法用來設置監聽過濾條件,這里我們設置過濾的數據包為tcp協議80端口的數據。以后程序就進入監聽狀態了。
接下來我們循環輸出接收到的數據,ptime為時間,pdata的數據,默許數據打印為ascii字符,效果以下:
在抓到數據包以后,下1步就需要對數據進行解析,這里我們引入dpkt組件包。
dpkt,簡單來講是1個數據包解析工具,可以解析離線/實時pcap數據包。
我們以下面的代碼為例,講授基本利用。
import pcap
import dpkt
def captData():
pc=pcap.pcap('wlan0') #注,參數可為網卡名,如eth0
pc.setfilter('tcp port 80') #設置監聽過濾器
for ptime,pdata in pc: #ptime為收到時間,pdata為收到數據
anlyCap(pdata);
def anlyCap(pdata):
p=dpkt.ethernet.Ethernet(pdata)
if p.data.__class__.__name__=='IP':
ip='%d.%d.%d.%d'%tuple(map(ord,list(p.data.dst)))
if p.data.data.__class__.__name__=='TCP':
if p.data.data.dport==80:
print p.data.data.data # http 要求的數據
captData();
在上面代碼中,我們首先導入dpkt包。這段代碼中新增了1個anlyCap方法,該方法接收由pcap捕獲的http數據包,然后先獲得ip數據報文,從ip報文中再提取tcp數據包,最后從tcp數據包中提取http要求的數據,將其打印出來。
對數據包的分析,新手可能會感到迷茫,如何選擇適合的協議和方法來分析呢?這個問題的答案不在代碼,而在于網絡通訊協議本身的掌握和理解。
回到上面的代碼,我們想要分析http要求的數據,http是利用層協議,通過TCP協議來傳輸數據,那末TCP數據又被封裝在IP數據報文中。使用dpkt的第1步就是選擇數據包類型,這里固然是要選擇以太網數據包了。
依照網絡協議,層層剝離,會解析到所有你想要的數據。
下面我們來看1個解析離線數據包的例子。
import dpkt
import socket
#----------------------------------------------------------------------
def printPcap(pcap):
""""""
for(ts,buf) in pcap:
try:
eth=dpkt.ethernet.Ethernet(buf);
ip=eth.data;
src=socket.inet_ntoa(ip.src);
dst=socket.inet_ntoa(ip.dst);
tcp=ip.data;#tcp.dport tcp.sport
print '[+]Src: '+src+ ' --->Dst: '+ dst
except:
pass;
#----------------------------------------------------------------------
def main():
""""""
f=open('/home/pcap/test.pcap');#1.open file
pcap=dpkt.pcap.Reader(f);# init pcap obj
printPcap(pcap);
if __name__ == '__main__':
main();
首先我準備了1個測試的抓包文件—test.pcap,該文件是我使用wireshark在windows上抓取的數據包,現在使用代碼對齊進行基本的分析。在方法printPcap中,獲得ip數據報的內容,然后獲得它的源ip和目標ip數據,通過socket.inet_ntoa方法轉換成ip字符串,最后打印出來。結果以下圖所示:
Scapy的是1個強大的交互式數據包處理程序(使用python編寫)。它能夠捏造或解碼大量的網絡協議數據包,能夠發送、捕捉、匹配要求和回復包等等。它可以很容易地處理1些典型操作,比如端口掃描,tracerouting,探測,單元 測試,攻擊或網絡發現(可替換hping,NMAP,arpspoof,ARP-SK,arping,tcpdump,tethereal,P0F等)。 最重要的他還有很多更優秀的特性——發送無效數據幀、注入修改的802.11數據幀、在WEP上解碼加密通道(VOIP)、ARP緩存攻擊(VLAN) 等,這也是其他工具沒法處理完成的。
Scapy可以單獨使用,也能夠在python中調用。
了解Scapy的基本使用和支持的方法,首先我們從終端啟動scapy,進入交互模式。
ls()顯示scapy支持的所有協議。
ls()函數的參數還可以是上面支持的協議中的任意1個的類型屬性,也能夠是任何1個具體的數據包,如ls(TCP),ls(newpacket)等。
lsc()列出scapy支持的所有的命令。
本篇文章使用的只是scapy眾多命令中的1個,sniff。
conf:顯示所有的配置信息。conf變量保存了scapy的配置信息。
help()顯示某1命令的使用幫助,如help(sniff)。
show()顯示指定數據包的詳細信息。例如,這里我們先創建1個IP數據包,然后調用show方法。
sprintf()輸出某1層某個參數的取值,如果不存在就輸出”??”,具體的format格式是:%[[fmt][r],][layer[:nb].]field%,詳細的使用參考的146頁。
%[[fmt][r],][layer[:nb].]field%
layer:協議層的名字,如Ether、IP、Dot11、TCP等。
filed:需要顯示的參數。
nb:當有兩個協議層有相同的參數名時,nb用于到達你想要的協議層。
r:是1個標志。當使用r標志時,意味著顯示的是參數的原始值。例如,TCP標志中使用人類可瀏覽的字符串’SA’表示SYN和ACK標志,而其原始值是18.
Scapy的功能如此強大,足夠寫個系列了,本文只關注sniff這1個方法。
sniff方法是用來嗅探數據的,我們首先使用help查看1下此方法的使用說明:
sniff(count=0, store=1, offline=None, prn=None, lfilter=None, L2socket=None, timeout=None, opened_socket=None, stop_filter=None, *arg, **karg)
Sniff packets
sniff([count=0,] [prn=None,] [store=1,] [offline=None,] [lfilter=None,] + L2ListenSocket args) -> list of packets
count: number of packets to capture. 0 means infinity
store: wether to store sniffed packets or discard them
prn: function to apply to each packet. If something is returned,
it is displayed. Ex:
ex: prn = lambda x: x.summary()
lfilter: python function applied to each packet to determine
if further action may be done
ex: lfilter = lambda x: x.haslayer(Padding)
offline: pcap file to read packets from, instead of sniffing them
timeout: stop sniffing after a given time (default: None)
L2socket: use the provided L2socket
opened_socket: provide an object ready to use .recv() on
stop_filter: python function applied to each packet to determine
if we have to stop the capture after this packet
ex: stop_filter = lambda x: x.haslayer(TCP)
除上面介紹的幾個參數,sniff()函數還有1個重要的參數是filter,用來表示想要捕獲數據包類型的過濾器,如只捕獲ICMP數據包,則filter=”ICMP”;只捕獲80端口的TCP數據包,則filter=”TCP and (port 80)”。其他幾個重要的參數有:count表示需要不活的數據包的個數;prn表示每一個數據包處理的函數,可以是lambda表達式,如prn=lambda x:x.summary();timeout表示數據包捕獲的超時時間。
sniff(filter="icmp and host 66.35.250.151", count=2)
這段代碼過濾icmp協議,host地址為66.35.250.151,捕獲數據包個數為2個。
sniff(iface="wifi0", prn=lambda x: x.summary())
這段代碼綁定網卡wifi0,對捕獲的數據包使用summary進行數據匯總。
sniff(iface="eth1", prn=lambda x: x.show())
這段代碼綁定網卡eth1,對數據包調用show方法,顯示基本信息。
下面我們看具體的1段代碼:
from scapy.all import *
ap_list = []
def PacketHandler(pkt) :
if pkt.haslayer(Dot11) :
if pkt.type == 0 and pkt.subtype == 8 :
if pkt.addr2 not in ap_list :
ap_list.append(pkt.addr2)
print "AP MAC: %s with SSID: %s " %(pkt.addr2, pkt.info)
sniff(iface="wlan0mon", prn = PacketHandler)
上面這段代碼對綁定網卡WLAN0mon,對每一個數據包調用PacketHandler方法進行解析。PacketHandler實際上是通過數據包過濾可訪問的無線網絡的SSID。
Scapy-http直接將 數據包格式化成 http數據信息,免去自己構建http數據結構進行解析的麻煩。
import scapy_http.http as HTTP
from scapy.all import *
from scapy.error import Scapy_Exception
count=0
def pktTCP(pkt):
global count
count=count+1
print count
if HTTP.HTTPRequest or HTTP.HTTPResponse in pkt:
src=pkt[IP].src
srcport=pkt[IP].sport
dst=pkt[IP].dst
dstport=pkt[IP].dport
test=pkt[TCP].payload
if HTTP.HTTPRequest in pkt:
#print "HTTP Request:"
#print test
print "======================================================================"
if HTTP.HTTPResponse in pkt:
print "HTTP Response:"
try:
headers,body= str(test).split("\r\n\r\n", 1)
print headers
except Exception,e:
print e
print "======================================================================"
else:
#print pkt[IP].src,pkt[IP].sport,'->',pkt[TCP].flags
print 'other'
sniff(filter='tcp and port 80',prn=pktTCP,iface='wlan0')
上面的這段代碼,我們引入scapy_http.http,該組件包可以直接將Http要求的TCP數據包格式化成HTTPRequest或HTTPResponse對象,這大大方便了我們對HTTP數據的分析。
? scapy_http在github上的開源地址為:https://github.com/invernizzi/scapy-http。
1.4.4 綜合實例--net-creds
net-creds是1個小的開源程序,由python編寫,主要是從網絡或pcap中嗅探敏感數據。可以嗅探以下類型的數據:
· URLs visited
· POST loads sent
· HTTP form logins/passwords
· HTTP basic auth logins/passwords
· HTTP searches
· FTP logins/passwords
· IRC logins/passwords
· POP logins/passwords
· IMAP logins/passwords
· Telnet logins/passwords
· SMTP logins/passwords
· SNMP community string
· NTLMv1/v2 all supported protocols like HTTP, SMB, LDAP, etc
· Kerberos
基本用法以下:
自動選擇網卡進行嗅探:
sudo python net-creds.py
指定嗅探的網卡:
sudo python net-creds.py -i eth0
疏忽指定IP的數據包:
sudo python net-creds.py -f 192.168.0.2
從pcap文件中過濾信息:
python net-creds.py -p pcapfile
建議讀者能夠靜下心來瀏覽該程序的源碼,本身其實不是很復雜,難度不高。下面摘幾段代碼。
ipr = Popen(['/sbin/ip', 'route'], stdout=PIPE, stderr=DN)
for line in ipr.communicate()[0].splitlines():
if 'default' in line:
l = line.split()
iface = l[4]
return iface
上面這1段代碼是利用Popen組件和PIPE組件來自動查找網卡。
def telnet_logins(src_ip_port, dst_ip_port, load, ack, seq):
'''
Catch telnet logins and passwords
'''
global telnet_stream
msg = None
if src_ip_port in telnet_stream:
# Do a utf decode in case the client sends telnet options before their username
# No one would care to see that
try:
telnet_stream[src_ip_port] += load.decode('utf8')
except UnicodeDecodeError:
pass
# \r or \r\n or \n terminate commands in telnet if my pcaps are to be believed
if '\r' in telnet_stream[src_ip_port] or '\n' in telnet_stream[src_ip_port]:
telnet_split = telnet_stream[src_ip_port].split(' ', 1)
cred_type = telnet_split[0]
value = telnet_split[1].replace('\r\n', '').replace('\r', '').replace('\n', '')
# Create msg, the return variable
msg = 'Telnet %s: %s' % (cred_type, value)
printer(src_ip_port, dst_ip_port, msg)
del telnet_stream[src_ip_port]
# This part relies on the telnet packet ending in
# "login:", "password:", or "username:" and being <750 chars